論文の概要: Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention

• arxiv url: http://arxiv.org/abs/2602.18145v1
• Date: Fri, 20 Feb 2026 11:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.304222
• Title: Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention
• Title（参考訳）: 周波数認識によるLLMの文脈幻覚検出
• Abstract要約: 我々は、世代間の変化を分析することによって、注意に対する周波数認識の視点を導入する。 高周波アテンション特徴を用いた軽量幻覚検出装置を開発した。
• 参考スコア（独自算出の注目度）: 27.49425252327799
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hallucination detection is critical for ensuring the reliability of large language models (LLMs) in context-based generation. Prior work has explored intrinsic signals available during generation, among which attention offers a direct view of grounding behavior. However, existing approaches typically rely on coarse summaries that fail to capture fine-grained instabilities in attention. Inspired by signal processing, we introduce a frequency-aware perspective on attention by analyzing its variation during generation. We model attention distributions as discrete signals and extract high-frequency components that reflect rapid local changes in attention. Our analysis reveals that hallucinated tokens are associated with high-frequency attention energy, reflecting fragmented and unstable grounding behavior. Based on this insight, we develop a lightweight hallucination detector using high-frequency attention features. Experiments on the RAGTruth and HalluRAG benchmarks show that our approach achieves performance gains over verification-based, internal-representation-based, and attention-based methods across models and tasks.
• Abstract（参考訳）: 覚醒検出は、コンテキストベースの生成において、大きな言語モデル(LLM)の信頼性を確保するために重要である。 それまでの研究は、世代間で利用できる固有の信号を探究してきたが、そのうちの1つは、接地行動の直接的な見方である。 しかし、既存のアプローチは通常、注意の細かい不安定さを捉えるのに失敗した粗い要約に頼っている。 信号処理にインスパイアされ、生成時の変動を分析して、注意に対する周波数認識の視点を導入する。 注意分布を離散信号としてモデル化し、注意の局所的な変化を高速に反映した高周波成分を抽出する。 分析の結果,ハロゲン化トークンは高頻度の注目エネルギーと結びついており,破片や不安定な接地挙動を反映していることがわかった。 この知見に基づき,高周波注意機能を用いた軽量幻覚検出装置を開発した。 RAGTruth と HalluRAG のベンチマーク実験により,本手法はモデルやタスク間の検証,内部表現,注意に基づく手法よりも性能向上を実現していることが示された。

関連論文リスト

• LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression [50.454633334898396]
  大規模視覚言語モデル(LVLM)は、強い推論能力を示すが、長い水平デコーディング中に視覚的忘れを被る。 本稿では,推論中の視覚的注意軌跡と視覚的トークン内注意分布を制御した後学習フレームワークLASERを提案する。 8つのベンチマークデータセットの実験は、LASERが強いベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-02T04:59:56Z)
• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction [56.59654766009799]
  ユーザ注意スコアは、正または負のターゲット項目に条件付けされた場合、異なるスペクトルエントロピー分布を示す。 本稿では,周波数拡張型深層関心ネットワーク(FEDIN)を提案する。 FEDINは、最先端のレコメンデーションベースラインを一貫して上回り、ノイズに対する優れた堅牢性を示している。
  論文  参考訳（メタデータ） (2026-05-03T05:50:36Z)
• Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps [1.8825446478246406]
  音声大言語モデル(SpeechLLMs)における幻覚は重大なリスクを伴うが、既存の検出方法は、コストがかかるか現実的でない金標準出力に依存している。 本研究は,幻覚に関連する病的注意パターンを捉えるために,AuDIORATIO,AUDIOCONSISTENCY,AUDIOENTROPY,TEXTENTROPYの4つの注意指標について検討した。 自動音声認識と音声からテキストへの翻訳作業は,不確実性に基づくベースラインや,それ以前のアテンションに基づくベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-21T15:18:10Z)
• Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models [5.559343107521254]
  SinkProbeは,注目シンクによって幻覚が深く絡み合っているという観測に基づく幻覚検出手法である。 提案手法は,一般的なデータセットやLPMにまたがって,最先端の成果をもたらす理論に基づく新たな幻覚検出手法である。
  論文  参考訳（メタデータ） (2026-04-12T15:46:22Z)
• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
  拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。 幻覚は 信頼性を損なう重要な問題です 本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:40:29Z)
• Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs [67.69730908817321]
  LVLMの内部ポジティブ・アテンション・ダイナミクス(PAD)は、注意シンクの歪みの下で自然に意味的にコアとなる視覚領域を明らかにする。 PADE(Positive Attention Dynamics Enhancement)は、意味的にコアとなる視覚領域を識別するためのPADマップを構築する訓練不要の注意介入である。
  論文  参考訳（メタデータ） (2026-02-17T13:08:06Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• Neural Message-Passing on Attention Graphs for Hallucination Detection [32.29963721910821]
  CHARMは、グラフ学習タスクとして幻覚検出をキャストし、上記の属性グラフにGNNを適用することでそれに取り組む。 我々は、CHARMが事前の注意に基づくトレースを確実に仮定し、実験的に、様々なベンチマークで他のアプローチを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-29T13:37:12Z)
• LLM Hallucination Detection: HSAD [6.306213519424463]
  幻覚検出方法は、事実整合性検証や静的な隠蔽層機能に依存する。 本稿では,隠蔽層時間信号の周波数領域解析に基づく幻覚検出手法を提案する。 この手法は、知識カバレッジと推論バイアスの検出の観点から、既存のアプローチの限界を克服する。
  論文  参考訳（メタデータ） (2025-09-28T02:25:34Z)
• LLM Hallucination Detection: A Fast Fourier Transform Method Based on Hidden Layer Temporal Signals [10.85580316542761]
  幻覚は、信頼性に敏感なアプリケーションに大規模言語モデル(LLM)をデプロイする上で、依然として重要な障壁である。 隠れ表現の時間的ダイナミクスをモデル化する新しい幻覚検出フレームワークであるHSAD(Hidden Signal Analysis-based Detection)を提案する。 TruthfulQAを含む複数のベンチマークにおいて、HSADは従来の最先端手法に比べて10パーセント以上の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-16T15:08:19Z)
• ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
  隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。 隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。 本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
  論文  参考訳（メタデータ） (2025-07-22T11:44:26Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models [26.51079570548107]
  大型言語モデル (LLM) は、しばしば文脈に忠実な幻覚を示す。 単一パスデコーディングにおける注意分布と不確実性信号を利用する軽量なフレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。
  論文  参考訳（メタデータ） (2025-01-02T05:07:06Z)
• Attention Consistency Refined Masked Frequency Forgery Representation for Generalizing Face Forgery Detection [96.539862328788]
  既存の偽造検出方法は、未確認領域の真正性を決定する不満足な一般化能力に悩まされている。 ACMF(Attention Consistency Refined masked frequency forgery representation model)を提案する。 いくつかのパブリックフェイスフォージェリーデータセットの実験結果から,提案手法の性能は最先端の手法と比較して優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-21T08:58:49Z)
• Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning [141.38505371646482]
  クロスモーダル相関は、ビデオ教師なし表現学習に固有の監督を提供する。 本稿では,双方向の局所通信特性を探索するために,CMAC(Cross-Modal Attention Consistency)というプレテキストタスクを導入する。 CMACは、視覚信号から純粋に発生する局所的注意と、音響信号の誘導の下で発生する対象的注意とを一致させることを目的としている。
  論文  参考訳（メタデータ） (2021-06-13T07:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。