論文の概要: HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.06596v1
• Date: Mon, 08 Sep 2025 12:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.11241
• Title: HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models
• Title（参考訳）: HAVE:大規模言語モデルにおける幻覚緩和のための頭部適応的ゲーティングとValuE校正
• Authors: Xin Tong, Zhi Lin, Jingya Wang, Bo Jin,
• Abstract要約: LLM(Large Language Models)は、検索強化または長文生成において幻覚を生じることが多い。 HAVE(Head-Adaptive Gating and ValuE)は,頭部重みと生の注意重みに対処するパラメータフリーデコードフレームワークである。 HAVEは一貫して幻覚を減らし、DAGCDを含む強力なベースラインをわずかに上回っている。
• 参考スコア（独自算出の注目度）: 29.677280135028436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often produce hallucinations in retrieval-augmented or long-context generation, even when relevant evidence is present. This stems from two issues: head importance is treated as input-agnostic, and raw attention weights poorly reflect each token's true contribution. We present HAVE (Head-Adaptive Gating and ValuE Calibration), a parameter-free decoding framework that directly addresses both challenges. HAVE introduces head-adaptive gating, which performs instance-level soft reweighing of attention heads, and value calibration, which augments attention with the magnitude of value vectors to approximate write-back contribution. Together, these modules construct token-level evidence aligned with model updates and fuse it with the LM distribution through a lightweight uncertainty-scaled policy. HAVE requires no finetuning and operates in a single forward pass, making it efficient and broadly applicable. Experiments across multiple QA benchmarks and LLM families demonstrate that HAVE consistently reduces hallucinations and outperforms strong baselines, including DAGCD, with modest overhead. The framework is transparent, reproducible, and readily integrates with off-the-shelf LLMs, advancing trustworthy generation in real-world settings.
• Abstract（参考訳）: LLM(Large Language Models)はしばしば、関連する証拠が存在する場合でも、検索強化または長文生成において幻覚を引き起こす。 これは2つの問題に起因している: 頭の重要性は入力に依存しないものとして扱われ、生の注意重みは各トークンの真の貢献を反映していない。 本稿では,パラメータフリーデコードフレームワークであるHAVE(Head-Adaptive Gating and ValuE Calibration)を提案する。 HAVEは、注目ヘッドのインスタンスレベルのソフトリウィーディングを行うヘッドアダプティブゲーティングと、値ベクトルの大きさで注意を増し、書き込みバックコントリビューションを近似するバリューキャリブレーションを導入している。 これらのモジュールは、モデル更新と整合したトークンレベルのエビデンスを構築し、軽量な不確実性スケールのポリシーを通じてLM分布と融合する。 HAVEは微調整を必要とせず、単一の前方通過で動作し、効率よく広く適用できる。 複数のQAベンチマークとLLMファミリーでの実験では、HAVEは幻覚を一貫して減らし、DAGCDを含む強力なベースラインをわずかに上回っている。 フレームワークは透明で再現性があり、既製のLLMと容易に統合でき、現実世界の設定において信頼できる生成を進化させる。

関連論文リスト

• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Preemptive Hallucination Reduction: An Input-Level Approach for Multimodal Language Model [1.124958340749622]
  本研究では,最も適切なフィルタリング手法を適応的に選択する,アンサンブルに基づく新しい前処理フレームワークを提案する。 この手法は、自然言語推論(NLI)スコアによって測定された幻覚率を44.3%削減する。 この結果は、幻覚を緩和し、より信頼性の高いマルチモーダルシステムを実現するための適応的前処理技術の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-05-29T21:09:34Z)
• Forget What You Know about LLMs Evaluations - LLMs are Like a Chameleon [11.753349115726952]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見えるが、これらの高いスコアはデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。 セマンティックコンテンツやラベルを保存しながら入力をリフレッシュすることで、C-BODはモデルのパフォーマンスが記憶パターンによって駆動されるかどうかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration [22.39558434131574]
  LVLM(Large Vision-Language Models)は、視覚的コンテンツと実際に一致しない応答を生成する。 我々は、単一の意味のない入力画像からバイアスを推定する、トレーニング不要なソリューションUniform Attention (UAC)を導入する。 また、画像中のオブジェクトがどこにあっても一貫した出力を強制する、微調整ソリューションであるDynamic Attention (DAC)を導入します。
  論文  参考訳（メタデータ） (2025-02-04T03:27:38Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。