H-Neurons: el circuito disperso detrás de las alucinaciones en LLMs

Un equipo de investigadores del Instituto de Inteligencia Artificial de Tsinghua publicó en diciembre de 2025 un hallazgo que reencuadra cómo entendemos las alucinaciones en los grandes modelos de lenguaje. El paper demuestra que existe un subconjunto excepcionalmente disperso de neuronas que predice de forma confiable cuándo un LLM va a alucinar. Menos del 0.1% del total de neuronas. En Mistral-7B, el rango es de 0.01‰ a 0.35‰. La implicación es inmediata: las alucinaciones no son ruido estadístico distribuido uniformemente — son un fenómeno localizable e intervenible.

Qué son las H-Neurons y cómo se identifican

El paper define H-Neurons como neuronas en las redes feedforward (FFN) de los transformers cuya activación predice sistemáticamente la ocurrencia de alucinaciones. La identificación combina tres etapas: construcción de un dataset determinista, una métrica de contribución normalizada (CETT) y clasificación dispersa por regresión logística L1.

Resultados: generalización universal entre familias y escalas

La consistencia entre Mistral, Gemma y Llama — y entre escalas de 4B a 70B — es el resultado más robusto del paper. Las H-Neurons no son un artefacto de una familia de modelos específica: son una propiedad emergente universal de los transformers feedforward. El paper también demuestra generalización cross-scenario: H-Neurons identificadas en TriviaQA predicen alucinaciones en dominios completamente distintos — lo que confirma que capturan un mecanismo general de sobre-cumplimiento, no una señal de dominio factual.

Generalización cross-scenario: AUROC detallado

El hallazgo más provocativo del paper es que H-Neurons identificadas en un escenario (TriviaQA — alucinación factual) predicen comportamientos problemáticos en escenarios semánticamente disjuntos. La siguiente tabla muestra los scores AUROC de transferencia cross-scenario para Mistral-7B-v0.3:

Cuatro dimensiones de sobre-cumplimiento inducido por α-scaling

El experimento central del paper es la intervención directa: escalar las activaciones de las H-Neurons por un factor α ∈ [0, 3]. El resultado es inequívoco: amplificar H-Neurons (α > 1) aumenta sistemáticamente las tasas de comportamiento problemático en cuatro dimensiones independientes.

Origen en pre-entrenamiento: RLHF no elimina el mecanismo

El análisis de transferibilidad AUROC es la pieza de evidencia más importante: los autores toman H-Neurons identificadas en modelos instruction-tuned y verifican su poder predictivo en los modelos base correspondientes (antes del RLHF). Los scores AUROC superan consistentemente los baselines aleatorios — lo que prueba que las H-Neurons no son creadas por el fine-tuning: estaban ahí antes. El análisis de parámetros confirma: las H-Neurons se concentran en la región de "high-normalized-rank", indicando que sus valores cambian mínimamente durante RLHF y SFT. RLHF y Constitutional AI pueden suprimir la expresión de alucinaciones — pero dejan el mecanismo intacto.

Tres vectores de intervención en producción

Implementación en producción: pseudo-código y arquitectura

Para ingenieros que quieran implementar detección y supresión de H-Neurons en producción, el pipeline se compone de tres fases: identificación offline, monitoreo en inferencia, y supresión activa. El siguiente pseudo-código muestra la implementación en PyTorch con hooks de forward pass:

import torch
from sklearn.linear_model import LogisticRegression
import numpy as np

# ── Phase 1: Offline H-Neuron Identification ──
def compute_cett(model, dataloader, layer_indices):
    """Compute CETT scores for all FFN neurons."""
    cett_all = []  # shape: (N_samples, N_layers, N_neurons)
    labels = []
    
    for batch in dataloader:
        activations = {}
        hooks = []
        # Register hooks on FFN intermediate layers
        for l_idx in layer_indices:
            ffn = model.layers[l_idx].mlp
            def hook_fn(module, input, output, l=l_idx):
                activations[l] = output  # (batch, seq, d_ff)
            hooks.append(ffn.register_forward_hook(hook_fn))
        
        with torch.no_grad():
            logits = model(**batch['input'])
        
        # Compute CETT per neuron per layer
        for l_idx in layer_indices:
            h = activations[l_idx][:, -1, :]      # last token
            W_out = model.layers[l_idx].mlp.down_proj.weight
            projected = h.unsqueeze(-1) * W_out.T  # (batch, d_ff, d)
            norms = projected.norm(dim=-1)          # (batch, d_ff)
            cett = norms / norms.sum(dim=-1, keepdim=True)
            cett_all.append(cett.cpu().numpy())
        
        for h in hooks: h.remove()
    
    return np.concatenate(cett_all), np.array(labels)

# L1 logistic regression → H-Neuron indices
def identify_h_neurons(cett_matrix, labels, C=0.01):
    clf = LogisticRegression(
        penalty='l1', C=C, solver='saga', max_iter=5000
    )
    clf.fit(cett_matrix, labels)
    h_indices = np.where(clf.coef_[0] > 0)[0]
    return h_indices  # typically <0.1% of total neurons

# ── Phase 2: Runtime Monitoring ──
class HNeuronMonitor:
    def __init__(self, model, h_indices, layer_idx, alpha=1.0):
        self.h_indices = h_indices
        self.alpha = alpha
        self.scores = []
        
        ffn = model.layers[layer_idx].mlp
        ffn.register_forward_hook(self._hook)
    
    def _hook(self, module, input, output):
        h_act = output[:, -1, self.h_indices]
        score = h_act.abs().mean().item()
        self.scores.append(score)
        
        # Phase 3: α-scaling suppression
        if self.alpha != 1.0:
            output[:, :, self.h_indices] *= self.alpha
        return output
    
    def confidence(self, threshold=0.5):
        """Anti-hallucination confidence: 1.0 = safe."""
        return 1.0 - min(self.scores[-1] / threshold, 1.0)

Comparación con enfoques previos de detección de alucinaciones

H-Neurons no es el primer intento de detectar o mitigar alucinaciones en LLMs. Pero se diferencia radicalmente de los enfoques existentes en resolución, costo computacional y capacidad de intervención:

La ventaja fundamental de H-Neurons: intervención directa. No solo detecta — suprime. Y a diferencia de SelfCheckGPT, no requiere múltiples forward passes. La detección ocurre dentro de un solo pass con latencia adicional despreciable (<5ms).

Preguntas abiertas y limitaciones