論文の概要: HalluTracer: Hallucination Detection via Depth-Averaging Truth Signals
- arxiv url: http://arxiv.org/abs/2608.16353v1
- Date: Mon, 17 Aug 2026 10:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.62979
- Title: HalluTracer: Hallucination Detection via Depth-Averaging Truth Signals
- Title(参考訳): HalluTracer: 奥行き平均真理信号による幻覚検出
- Abstract要約: HalluTracerは前列のすべての層に真実の証拠を集約するフレームワークです。
幾何学的解析により、層間信号は弱い相関関係にあることが明らかとなり、単純な深さ平均化は層固有のノイズを抑制する。
HalluTracerは、マッチしたホワイトボックスベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 45.64606191137958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Even well-aligned large language models confidently generate factually incorrect text, making hallucination a persistent reliability risk in high-stakes deployments. These models nonetheless carry linearly separable truthfulness signals in their internal representations. Existing white-box detectors, however, collapse this evidence to isolated components or a single depth, discarding discriminative information distributed across the full forward pass. We introduce HalluTracer, a detection framework that reads and aggregates truthfulness evidence across every layer of the forward pass before the model emits any answer token. A geometric analysis reveals that the per-layer signals are weakly correlated, so that simple depth averaging suppresses layer-specific noise and captures nearly all linearly accessible information. Across six open-source language models and five hallucination benchmarks, HalluTracer consistently outperforms matched white-box baselines, with gains ranging from one to fourteen points. Collectively, our work recasts hallucination detection from a layer-selection problem into a depth-aggregation problem governed by the geometric sparsity of the truthfulness signal.
- Abstract(参考訳): 十分に整合した大きな言語モデルでさえ、事実的に不正確なテキストを確実に生成し、幻覚は高いデプロイメントにおいて永続的な信頼性のリスクをもたらす。
にもかかわらず、これらのモデルは、その内部表現に線形に分離可能な真理性信号を運ぶ。
しかし、既存のホワイトボックス検出器は、この証拠を孤立した成分または単一の深さに分解し、全前方通過に分散する識別情報を破棄する。
モデルが応答トークンを発行する前に、前方パスの全層にわたって真理性証拠を読み、集約する検出フレームワークであるHaluTracerを紹介します。
幾何学的解析により、層間信号は弱相関であり、単純な深さ平均化は層固有のノイズを抑制し、ほぼ全ての線形アクセス可能な情報をキャプチャする。
6つのオープンソース言語モデルと5つの幻覚ベンチマークで、HaluTracerは、ホワイトボックスベースラインにマッチするパフォーマンスを一貫して上回り、1点から14点まで上昇している。
本研究は,階層選択問題から真性信号の幾何学的間隔に支配される深度集約問題への幻覚検出を総合的に再放送する。
関連論文リスト
- UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳(メタデータ) (2026-08-11T12:01:59Z) - Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。
統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。
詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
論文 参考訳(メタデータ) (2026-07-31T13:33:51Z) - Grad Detect: Gradient-Based Hallucination Detection in LLMs [0.0]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、幻覚を引き起こす傾向にある。
そこで本研究では,1つの前向きパスから階層的勾配パターンを解析して幻覚を予測するグラッド・ディテクターを提案する。
幻覚検出とモデル禁忌予測の両方にまたがるいくつかのQ&Aベンチマークにおいて、Grad Detectを評価し、信頼性に基づくベースラインとサンプリングベースのベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2026-06-23T16:46:36Z) - TriLens: Per-Layer Logit-Lens Entropy for White-Box Hallucination Detection [22.258009855879752]
本稿では,言語モデルにおける幻覚検出用検出器TriLensを紹介する。
どの層でも、マルチヘッドの自己注意出力、フィードフォワード出力、モデル自身のロジットレンズを通して残留ストリームを読み取る。
結果として生じる3L-次元軌道は、深さと加群をまたいだ確実性がどのように形成されるかを記述する。
論文 参考訳(メタデータ) (2026-05-31T05:48:21Z) - Scalable Token-Level Hallucination Detection in Large Language Models [63.3426544914783]
内部幻覚は推論集約的なタスクでは検出が難しい。
TokenHDはトークンレベルの幻覚検出器を訓練するための全体論的パイプラインである。
論文 参考訳(メタデータ) (2026-05-12T16:47:40Z) - Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations [32.1925100166762]
大規模視覚言語モデル(LVLM)は視覚的推論タスクにおいて高い性能を達成するが、幻覚の影響を受けやすい。
既存の検出方法は、オブジェクトトークンが入力画像とどのように関連しているかの粗い全体像計測に依存する。
モデル層間のきめ細かいトークンレベルの相互作用を調べるパッチレベルの幻覚検出フレームワークを提案する。
本手法は,トークンレベルの幻覚検出において最大90%の精度を達成し,幻覚検出のための微細構造解析の優位性を実証する。
論文 参考訳(メタデータ) (2026-04-06T17:07:11Z) - DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。
幻覚は 信頼性を損なう重要な問題です
本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
論文 参考訳(メタデータ) (2026-03-17T12:40:29Z) - EigenTrack: Spectral Activation Feature Tracking for Hallucination and Out-of-Distribution Detection in LLMs and VLMs [8.616813040714883]
EigenTrackは大規模言語モデル(LLM)のための解釈可能なリアルタイム検出器である
表面誤差が現れる前に幻覚とOODドリフトを信号する表現構造における時間的シフトを追跡する。
既存のホワイトボックス検出器とは異なり、時間的コンテキストを保存し、グローバルシグナルを集約し、解釈可能な精度-遅延トレードオフを提供する。
論文 参考訳(メタデータ) (2025-09-19T08:05:28Z) - Unsupervised Hallucination Detection by Inspecting Reasoning Processes [53.15199932086543]
非教師付き幻覚検出は、ラベル付きデータに頼ることなく、大規模言語モデル(LLM)が生成する幻覚コンテンツを特定することを目的としている。
本稿では,非教師なし幻覚検出フレームワークIRISを提案する。
我々の手法は完全に教師なし、計算コストが低く、訓練データが少ない場合でもうまく機能し、リアルタイム検出に適しています。
論文 参考訳(メタデータ) (2025-09-12T06:58:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。