論文の概要: HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.06596v1
• Date: Mon, 08 Sep 2025 12:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.11241
• Title: HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models
• Title（参考訳）: HAVE:大規模言語モデルにおける幻覚緩和のための頭部適応的ゲーティングとValuE校正
• Authors: Xin Tong, Zhi Lin, Jingya Wang, Bo Jin,
• Abstract要約: LLM(Large Language Models)は、検索強化または長文生成において幻覚を生じることが多い。 HAVE(Head-Adaptive Gating and ValuE)は,頭部重みと生の注意重みに対処するパラメータフリーデコードフレームワークである。 HAVEは一貫して幻覚を減らし、DAGCDを含む強力なベースラインをわずかに上回っている。
• 参考スコア（独自算出の注目度）: 29.677280135028436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often produce hallucinations in retrieval-augmented or long-context generation, even when relevant evidence is present. This stems from two issues: head importance is treated as input-agnostic, and raw attention weights poorly reflect each token's true contribution. We present HAVE (Head-Adaptive Gating and ValuE Calibration), a parameter-free decoding framework that directly addresses both challenges. HAVE introduces head-adaptive gating, which performs instance-level soft reweighing of attention heads, and value calibration, which augments attention with the magnitude of value vectors to approximate write-back contribution. Together, these modules construct token-level evidence aligned with model updates and fuse it with the LM distribution through a lightweight uncertainty-scaled policy. HAVE requires no finetuning and operates in a single forward pass, making it efficient and broadly applicable. Experiments across multiple QA benchmarks and LLM families demonstrate that HAVE consistently reduces hallucinations and outperforms strong baselines, including DAGCD, with modest overhead. The framework is transparent, reproducible, and readily integrates with off-the-shelf LLMs, advancing trustworthy generation in real-world settings.
• Abstract（参考訳）: LLM(Large Language Models)はしばしば、関連する証拠が存在する場合でも、検索強化または長文生成において幻覚を引き起こす。 これは2つの問題に起因している: 頭の重要性は入力に依存しないものとして扱われ、生の注意重みは各トークンの真の貢献を反映していない。 本稿では,パラメータフリーデコードフレームワークであるHAVE(Head-Adaptive Gating and ValuE Calibration)を提案する。 HAVEは、注目ヘッドのインスタンスレベルのソフトリウィーディングを行うヘッドアダプティブゲーティングと、値ベクトルの大きさで注意を増し、書き込みバックコントリビューションを近似するバリューキャリブレーションを導入している。 これらのモジュールは、モデル更新と整合したトークンレベルのエビデンスを構築し、軽量な不確実性スケールのポリシーを通じてLM分布と融合する。 HAVEは微調整を必要とせず、単一の前方通過で動作し、効率よく広く適用できる。 複数のQAベンチマークとLLMファミリーでの実験では、HAVEは幻覚を一貫して減らし、DAGCDを含む強力なベースラインをわずかに上回っている。 フレームワークは透明で再現性があり、既製のLLMと容易に統合でき、現実世界の設定において信頼できる生成を進化させる。

関連論文リスト

• Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models [13.32858759983739]
  LVLM(Large Vision-Language Models)は、しばしばオブジェクト幻覚に悩まされ、視覚入力と矛盾するテキストを生成する。 この問題を緩和するための既存の推論時間の介入は、難しいトレードオフをもたらします。 本稿では,LVLMを視覚的に生成するフレームワークであるResidual-Update Directed Decoding Regulation(RUDDER)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T13:29:38Z)
• COMPASS: Context-Modulated PID Attention Steering System for Hallucination Mitigation [2.1521364454860525]
  モデルベースのフィードバックループをデコードに直接埋め込む軽量で解釈可能な制御フレームワークを導入する。 本研究では,PIDコントローラが動的にアテンションヘッドを変調して,リトレーニングやマルチパス復号を行うことなく,現実の一貫性を維持することを示す。
  論文  参考訳（メタデータ） (2025-11-05T05:30:28Z)
• HADSF: Aspect Aware Semantic Control for Explainable Recommendation [4.75127493865044]
  大規模言語モデル(LLM)の最近の進歩は、推薦システムに対してより効果的な情報抽出を約束している。 本稿では,適応選択によるコンパクトなコーパスレベルのアスペクトボキャブラリを誘導し,構造化アスペクトオピニオン三重項のボキャブラリ誘導,明示的に制約された抽出を行う2段階アプローチを提案する。 1.5B-70Bパラメータにまたがる約300万のレビューに関する実験では、標準評価予測器に統合された場合、HADSFは予測エラーを一貫して減少させる。
  論文  参考訳（メタデータ） (2025-10-30T20:49:33Z)
• Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
  LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。 それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。 本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:11:24Z)
• Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
  MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。 MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。 幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-14T00:31:36Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Preemptive Hallucination Reduction: An Input-Level Approach for Multimodal Language Model [1.124958340749622]
  本研究では,最も適切なフィルタリング手法を適応的に選択する,アンサンブルに基づく新しい前処理フレームワークを提案する。 この手法は、自然言語推論(NLI)スコアによって測定された幻覚率を44.3%削減する。 この結果は、幻覚を緩和し、より信頼性の高いマルチモーダルシステムを実現するための適応的前処理技術の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-05-29T21:09:34Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Forget What You Know about LLMs Evaluations - LLMs are Like a Chameleon [11.753349115726952]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見えるが、これらの高いスコアはデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。 セマンティックコンテンツやラベルを保存しながら入力をリフレッシュすることで、C-BODはモデルのパフォーマンスが記憶パターンによって駆動されるかどうかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration [22.39558434131574]
  LVLM(Large Vision-Language Models)は、視覚的コンテンツと実際に一致しない応答を生成する。 我々は、単一の意味のない入力画像からバイアスを推定する、トレーニング不要なソリューションUniform Attention (UAC)を導入する。 また、画像中のオブジェクトがどこにあっても一貫した出力を強制する、微調整ソリューションであるDynamic Attention (DAC)を導入します。
  論文  参考訳（メタデータ） (2025-02-04T03:27:38Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。