論文の概要: Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention
- arxiv url: http://arxiv.org/abs/2602.18145v1
- Date: Fri, 20 Feb 2026 11:18:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.304222
- Title: Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention
- Title（参考訳）: 周波数認識によるLLMの文脈幻覚検出
- Authors: Siya Qi, Yudong Chen, Runcong Zhao, Qinglin Zhu, Zhanghao Hu, Wei Liu, Yulan He, Zheng Yuan, Lin Gui,
- Abstract要約: 我々は、世代間の変化を分析することによって、注意に対する周波数認識の視点を導入する。
高周波アテンション特徴を用いた軽量幻覚検出装置を開発した。
- 参考スコア（独自算出の注目度）: 27.49425252327799
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Hallucination detection is critical for ensuring the reliability of large language models (LLMs) in context-based generation. Prior work has explored intrinsic signals available during generation, among which attention offers a direct view of grounding behavior. However, existing approaches typically rely on coarse summaries that fail to capture fine-grained instabilities in attention. Inspired by signal processing, we introduce a frequency-aware perspective on attention by analyzing its variation during generation. We model attention distributions as discrete signals and extract high-frequency components that reflect rapid local changes in attention. Our analysis reveals that hallucinated tokens are associated with high-frequency attention energy, reflecting fragmented and unstable grounding behavior. Based on this insight, we develop a lightweight hallucination detector using high-frequency attention features. Experiments on the RAGTruth and HalluRAG benchmarks show that our approach achieves performance gains over verification-based, internal-representation-based, and attention-based methods across models and tasks.
- Abstract（参考訳）: 覚醒検出は、コンテキストベースの生成において、大きな言語モデル(LLM)の信頼性を確保するために重要である。
それまでの研究は、世代間で利用できる固有の信号を探究してきたが、そのうちの1つは、接地行動の直接的な見方である。
しかし、既存のアプローチは通常、注意の細かい不安定さを捉えるのに失敗した粗い要約に頼っている。
信号処理にインスパイアされ、生成時の変動を分析して、注意に対する周波数認識の視点を導入する。
注意分布を離散信号としてモデル化し、注意の局所的な変化を高速に反映した高周波成分を抽出する。
分析の結果,ハロゲン化トークンは高頻度の注目エネルギーと結びついており,破片や不安定な接地挙動を反映していることがわかった。
この知見に基づき,高周波注意機能を用いた軽量幻覚検出装置を開発した。
RAGTruth と HalluRAG のベンチマーク実験により,本手法はモデルやタスク間の検証,内部表現,注意に基づく手法よりも性能向上を実現していることが示された。
関連論文リスト
- Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs [67.69730908817321]
LVLMの内部ポジティブ・アテンション・ダイナミクス(PAD)は、注意シンクの歪みの下で自然に意味的にコアとなる視覚領域を明らかにする。
PADE(Positive Attention Dynamics Enhancement)は、意味的にコアとなる視覚領域を識別するためのPADマップを構築する訓練不要の注意介入である。
論文 参考訳（メタデータ） (2026-02-17T13:08:06Z) - Hallucination Begins Where Saliency Drops [18.189047289404325]
幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。
LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。
本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
論文 参考訳（メタデータ） (2026-01-28T05:50:52Z) - Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。
NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。
評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文 参考訳（メタデータ） (2026-01-12T05:43:51Z) - Neural Message-Passing on Attention Graphs for Hallucination Detection [32.29963721910821]
CHARMは、グラフ学習タスクとして幻覚検出をキャストし、上記の属性グラフにGNNを適用することでそれに取り組む。
我々は、CHARMが事前の注意に基づくトレースを確実に仮定し、実験的に、様々なベンチマークで他のアプローチを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-09-29T13:37:12Z) - LLM Hallucination Detection: HSAD [6.306213519424463]
幻覚検出方法は、事実整合性検証や静的な隠蔽層機能に依存する。
本稿では,隠蔽層時間信号の周波数領域解析に基づく幻覚検出手法を提案する。
この手法は、知識カバレッジと推論バイアスの検出の観点から、既存のアプローチの限界を克服する。
論文 参考訳（メタデータ） (2025-09-28T02:25:34Z) - Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。
本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
論文 参考訳（メタデータ） (2025-04-14T10:06:27Z) - Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models [26.51079570548107]
大型言語モデル (LLM) は、しばしば文脈に忠実な幻覚を示す。
単一パスデコーディングにおける注意分布と不確実性信号を利用する軽量なフレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。
論文 参考訳（メタデータ） (2025-01-02T05:07:06Z) - Attention Consistency Refined Masked Frequency Forgery Representation
for Generalizing Face Forgery Detection [96.539862328788]
既存の偽造検出方法は、未確認領域の真正性を決定する不満足な一般化能力に悩まされている。
ACMF(Attention Consistency Refined masked frequency forgery representation model)を提案する。
いくつかのパブリックフェイスフォージェリーデータセットの実験結果から,提案手法の性能は最先端の手法と比較して優れていることが示された。
論文 参考訳（メタデータ） (2023-07-21T08:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。