論文の概要: The Hallucination Signal Is a Mean Shift: Why Simple Probes Suffice

• arxiv url: http://arxiv.org/abs/2608.28930v1
• Date: Fri, 28 Aug 2026 23:01:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.788661
• Title: The Hallucination Signal Is a Mean Shift: Why Simple Probes Suffice
• Title（参考訳）: 幻覚信号は、なぜ単純なプローブで十分なのか?
• Abstract要約: 隠れ状態プローブはLLM幻覚を効果的に検出するが、信号の幾何学的特徴は乏しい。 3つの7Bスケールモデルと3つのデータセットをペア・サンプル・パラダイムで比較したところ、信号は1つの平均シフト成分によって圧倒的に支配されていることがわかった。 収縮線形判別分析は1次元と全次元の分類器の間のギャップの約73%を閉じる。 信号は連続した層バンドにまたがるため、LayerMixはそれを集約し、オラクルアクセスなしでオラクル層のパフォーマンスにマッチさせる。
• 参考スコア（独自算出の注目度）: 24.66711854680014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hidden-state probes effectively detect LLM hallucinations, but the geometry of the signal remains poorly characterized, driving increasingly complex probe architectures. Across three 7B-scale models and three datasets in a paired-example paradigm, we find the signal overwhelmingly dominated by a single mean-shift component, and removing this direction collapses detection to chance. Shrinkage linear discriminant analysis closes about 73% of the gap between 1D and full-dimensional classifiers, so apparent architectural complexity largely reflects high-dimensional covariance estimation difficulty rather than exploitable non-linearity. A simple L2-regularized logistic regression (0.952 AUROC) bounds or outperforms twelve controlled architectural alternatives, and our multi-layer aggregation exceeds CLAP cross-layer attention probing under matched paradigm. Because the signal spans a contiguous layer band, LayerMix aggregates it to match oracle-layer performance without oracle access. Our claims characterize the geometry within the controlled paired-example paradigm. Our code is available at https://github.com/js-lee-AI/LayerMix.
• Abstract（参考訳）: 隠れ状態プローブはLLM幻覚を効果的に検出するが、信号の幾何学的特徴は乏しいままであり、ますます複雑なプローブアーキテクチャを駆動する。 3つの7Bスケールモデルと3つのデータセットをペア・サンプル・パラダイムで比較したところ、信号は1つの平均シフト成分で圧倒的に支配され、この方向の除去は偶然に崩壊することがわかった。 収縮線形判別分析は1次元と全次元の分類器のギャップの約73%を閉じているため、明らかなアーキテクチャ上の複雑さは、利用可能な非線型性ではなく、高次元の共分散推定の難しさを反映している。 単純なL2正規化ロジスティック回帰(0.952 AUROC)は、制御された12のアーキテクチャ上の代替品を束縛または上回る。 信号は連続した層バンドにまたがるため、LayerMixはそれを集約し、オラクルアクセスなしでオラクル層のパフォーマンスにマッチさせる。 我々の主張は、制御されたペア-サンプルパラダイム内の幾何学を特徴付ける。 私たちのコードはhttps://github.com/js-lee-AI/LayerMix.orgから入手可能です。

関連論文リスト

• Steer the Sampling, Not the Kernel Grid: Geometry-Guided Sampling Operator for Volumetric Segmentation [9.411407984734854]
  畳み込みカーネルを変形させるのではなく,特徴をどこにサンプリングするかを制御できる幾何誘導型局所演算子を提案する。 各ボクセルでは、これらの方向に沿って対称にサンプルする、局所的な向きと有界なステップサイズを予測する。 ストライド1とストライド2を3D U-Netで置き換えると、BraTS、MSD肝血管、TDSC-ABUSが一貫した改善がなされる。
  論文  参考訳（メタデータ） (2026-08-26T14:01:36Z)
• Topological Simplification in Predictive Coding Networks [0.8399542059465145]
  本研究では,予測符号化ネットワーク(PCN)における学習のトポロジについて,定量的に永続的なホモロジー解析を用いて検討する。 以上の結果から,PCNの圧縮構造と層構造に永続的ホモロジーが有用であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-03T19:12:11Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations [5.218766876318545]
  LLMのアクティベーションをトレーニングした線形プローブは、騙し検出指標としてますます提案されているが、AUROCは分布シフトの下で崩壊しながらクリーンなベンチマークで0.96を超えることを報告している。 本稿では, Gemma 3 モデルファミリ(1B-27B パラメータ)における圧力-プローブ-ベースの測定値について, 系統的に検討する。 1) 単線方向, (2) 多次元部分空間, (3) 凸円錐殻, (4) エントロピープロキシの4つの仮説を検証した。
  論文  参考訳（メタデータ） (2026-05-27T04:51:55Z)
• Predictive Maps of Multi-Agent Reasoning: A Successor-Representation Spectrum for LLM Communication Topologies [0.0]
  既存の評価は、これらの質問に答えるのは、ポストホックと測定されたタスクのみである。 本稿では,M = (I - P)-1$の行確率的通信演算子の後継表現に基づくマルチエージェントLLM通信グラフの構造診断を提案する。 鎖,星,メッシュの閉形スペクトルを行確率正規化法で導出し,12ステップ構成された状態追跡タスクの予測を検証した。
  論文  参考訳（メタデータ） (2026-05-12T03:11:39Z)
• Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment [27.352639822596146]
  クロスワーカーの損失と勾配のばらつきは、従来の監視信号では見えない。 本稿では,標準パイプラインで容易に利用できるトレーニング信号を用いて,作業者レベルの一貫性を定量化する,モデルに依存しない診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T04:42:30Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)
• Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation [91.12575065731883]
  境界ボックス回帰および非最大抑圧(NMS)における幾何学的要素の強化を目的とした完全IoU損失とクラスタNMSを提案する。 CIoU損失を用いたディープラーニングモデルのトレーニングは、広く採用されている$ell_n$-norm損失とIoUベースの損失と比較して、一貫性のあるAPとARの改善をもたらす。 クラスタ-NMSは、純粋なGPU実装のため非常に効率的であり、APとARの両方を改善するために幾何学的要素を組み込むことができる。
  論文  参考訳（メタデータ） (2020-05-07T16:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。