論文の概要: Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs

• arxiv url: http://arxiv.org/abs/2606.02628v1
• Date: Sat, 30 May 2026 02:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.469684
• Title: Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
• Title（参考訳）: 幻覚は量子化LDMにおける中層隠れ状態から直線的に消耗する
• Abstract要約: 我々は,LLMが隠れた状態で線形分離可能な信号を符号化し,どのネットワーク深度でこの信号が最強かを検討する。 4つのベンチマーク(TruthfulQA, HaluEval-QA, FEVER, 制御された合成集合)で層当たりの隠れ状態を抽出する。 Peak Probing Layerは、自然言語ベンチマークでモデルファミリ間で一貫したバンドに落ちます。
• 参考スコア（独自算出の注目度）: 5.584060970507507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether open-source LLMs encode a linearly separable truthfulness signal in their hidden states, and at which network depth this signal is strongest. Across three $7$B--$8$B instruction-tuned models (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) loaded in $4$-bit NF4 quantization, we extract per-layer hidden states on four hallucination benchmarks (TruthfulQA, HaluEval-QA, FEVER, and a controlled synthetic set) and compare four detection approaches: linear and MLP probes, INSIDE EigenScore, self-consistency, and attention entropy. A linear probe on a single mid-network layer achieves $0.904$--$1.000$ AUROC on held-out splits, while sampling-based detectors do not exceed $0.541$ AUROC under the same protocol. The truthfulness signal is approximately linear: MLP probes rarely surpass linear probes by more than $0.01$ AUROC. Peak probing layers fall in a consistent band across model families on natural-language benchmarks -- blocks~$13$--$18$ of~$32$ for Llama and Mistral, and blocks~$19$--$25$ of~$28$ for Qwen. First-block attention entropy provides a complementary signal in knowledge-grounded settings ($0.866$--$0.941$ AUROC on HaluEval-QA) at no additional inference cost. The low discriminability of sampling methods under this protocol reflects a structural mismatch between paired-label evaluation and the information these methods access, rather than an inherent limitation of those methods. Code and data are released for full reproducibility on a single $8$\,GB GPU.
• Abstract（参考訳）: 我々は,LLMが隠れた状態で線形に分離可能な真性信号を符号化し,どのネットワーク深さでこの信号が最強かを検討する。 4 ビット NF4 量子化を負荷した7$B--8$B 命令調整モデル (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) を3 つの幻覚ベンチマーク (TruthfulQA, HaluEval-QA, FEVER, および制御された合成集合) で抽出し, 線形および MLP プローブ, INSIDE EigenScore, 自己整合性, 注意エントロピーの4つの検出手法を比較した。 1つの中間ネットワーク層上の線形プローブはホールドアウトスプリットで0.904$--1.000$AUROCを達成するが、サンプリングベースの検出器は同じプロトコルで0.541$AUROCを超えない。 MLPプローブが線形プローブを0.01ドル以上超えることは滅多にない。 Peak Probing Layerは、自然言語ベンチマークのモデルファミリ間で一貫したバンドに落ちます -- ブロック~13$--$18$ of~32$ for LlamaとMistral、ブロック~19$--$25$ of~28$ for Qwen。 第一ブロックの注意エントロピーは、追加の推論コストなしで知識ベース設定(HaluEval-QA上の0.866$-$0.941$AUROC)で補完的な信号を提供する。 このプロトコル下でのサンプリング手法の低識別性は、それらの手法固有の制限ではなく、ペアラベル評価とそれらの方法がアクセスする情報との構造的ミスマッチを反映している。 コードとデータは、単一の8$\,GB GPUで完全な再現性のためにリリースされている。

関連論文リスト

• The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
  LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。 観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。 完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。 Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
  論文  参考訳（メタデータ） (2026-07-26T15:17:41Z)
• Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity [5.67642958049511]
  特異学習理論は、損失特異点の幾何学を通して深いネットワークの複雑さを特徴づける。 単体構造をもつ安価でクローズドなスペクトル読影器であるDeadDirection Signatures (DDS)を紹介する。 それぞれが選択された層でネットワークの活性化行列またはサンプル単位のフィッシャーグラムを読み、後鎖スペクトル線型代数を置き換える。
  論文  参考訳（メタデータ） (2026-06-19T06:49:09Z)
• Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
  大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。 近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。 この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:27:11Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics [0.0]
  モジュラー演算で訓練された変換器は、記憶、一般化、崩壊の急激な遷移を示す。 重み劣化はこれらの状態に対するスカラーな経験的制御パラメータとして機能することを示す。 トレーニングのダイナミクスをトラックするオンライン診断,平均的注意頭コサイン類似性とエントロピー標準偏差を導入する。
  論文  参考訳（メタデータ） (2026-05-19T19:48:40Z)
• Fidelity Probes for Specification--Code Alignment [7.754687669049819]
  我々は,コード由来の接地真実解を持つ参照アーティファクトから生成した自然依存問題である忠実度プローブを紹介する。 忠実度プローブは矛盾とカバレッジギャップ率に分解され、ターゲット仕様の編集を収束させる。 15のプログラムで約12kラインのベンチマークを行い、8回のイテレーションで0.63から0.94に凍結テスト仕様の忠実度を上げました。
  論文  参考訳（メタデータ） (2026-05-17T04:05:54Z)
• Attributing Emergence in Million-Agent Systems [68.53670424791751]
  大規模言語モデル(LLM)は、個々のエージェントにおける人間のような推論と意思決定をシミュレートすることができる。 このような研究は、個々のエージェントにマクロな出現をもたらす必要がある。 Aumann--Shapley path-integral attribution to LLM-powered MAS at million-agent scale。
  論文  参考訳（メタデータ） (2026-05-12T01:49:41Z)
• Beating the Style Detector: Three Hours of Agentic Research on the AI-Text Arms Race [3.9508043303559828]
  実験的なNLP研究を再現するには数週間を要した。 全コード、648ドル(約6,800円)の原案、訓練された検出器、診断、および敵の軌道がリリースされている。
  論文  参考訳（メタデータ） (2026-05-04T14:10:41Z)
• DRIFT: Detecting Representational Inconsistencies for Factual Truthfulness [5.785021425715989]
  LLMは流動性があるが誤った答えを出すことが多いが、このような幻覚を検出するには、通常、複数のサンプリングパスやポストホック検証が必要である。 隠れ状態から直接これらの信号を読み取るための軽量なプローブを提案する。 信頼性の高い問合せを即座に答えるとともに,不確実な問合せをより強力なモデルに委譲するLLMルータを開発した。
  論文  参考訳（メタデータ） (2026-01-20T18:16:10Z)
• High-fidelity heralded quantum state preparation and measurement [0.0]
  高忠実度量子状態準備・測定(SPAM)のための新しいプロトコルを提案する。 標準的なSPAMメソッドと一連のインシーケンス計測を組み合わせてエラーを検出し、削除する。 我々は,137mathrmBa+$イオンを捕捉した3種類の量子ビット符号化のためのプロトコルを実証した。
  論文  参考訳（メタデータ） (2024-09-09T17:11:44Z)
• Testing the Feasibility of Linear Programs with Bandit Feedback [53.40256244941895]
  我々は,低回帰アルゴリズムと反復対数の漸近法則に基づくテストを開発する。 このテストが信頼できることを証明し、信号レベルに適応する'$Gamma,$ of any instance。 信頼性テストのサンプルコストに対して、最小限の$(Omegad/Gamma2)$で補う。
  論文  参考訳（メタデータ） (2024-06-21T20:56:35Z)
• Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a Generative Model [50.38446482252857]
  2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。 我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。 我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T17:24:55Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)
• A Provably Efficient Sample Collection Strategy for Reinforcement Learning [123.69175280309226]
  オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。 1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
  論文  参考訳（メタデータ） (2020-07-13T15:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。