論文の概要: ART: Attention Replacement Technique to Improve Factuality in LLMs

• arxiv url: http://arxiv.org/abs/2604.06393v1
• Date: Tue, 07 Apr 2026 19:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.205784
• Title: ART: Attention Replacement Technique to Improve Factuality in LLMs
• Title（参考訳）: ART:LLMのファクチュアリティ向上のためのアテンションリプレース技術
• Authors: Ziqin Luo, Yihao Quan, Xiaofeng Zhang, Xiaosong Yuan, Chen Shen,
• Abstract要約: 大規模言語モデル(LLM)の各層における注目スコアの分布と注目ヘッドの分析を行う。 本研究では,浅層における均一な注意パターンを局所的な注意パターンに置き換えるために,ART(Attention Replacement Technique)と呼ばれるトレーニングフリー手法を提案する。 ARTは、微調整や追加のトレーニングデータを必要とすることなく、その有効性と一般化性を証明する。
• 参考スコア（独自算出の注目度）: 6.886329170723862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination in large language models (LLMs) continues to be a significant issue, particularly in tasks like question answering, where models often generate plausible yet incorrect or irrelevant information. Although various methods have been proposed to mitigate hallucinations, the relationship between attention patterns and hallucinations has not been fully explored. In this paper, we analyze the distribution of attention scores across each layer and attention head of LLMs, revealing a common and intriguing phenomenon: shallow layers of LLMs primarily rely on uniform attention patterns, where the model distributes its attention evenly across the entire sequence. This uniform attention pattern can lead to hallucinations, as the model fails to focus on the most relevant information. To mitigate this issue, we propose a training-free method called Attention Replacement Technique (ART), which replaces these uniform attention patterns in the shallow layers with local attention patterns. This change directs the model to focus more on the relevant contexts, thus reducing hallucinations. Through extensive experiments, ART demonstrates significant reductions in hallucinations across multiple LLM architectures, proving its effectiveness and generalizability without requiring fine-tuning or additional training data.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚は、特に質問応答のようなタスクにおいて重要な問題であり続けている。 幻覚を緩和するための様々な方法が提案されているが、注意パターンと幻覚の関係は十分に解明されていない。 本稿では,LLMの各層および注目頭部における注目点の分布を解析し,LLMの浅い層は主に一様注意パターンに依存し,そのモデルが各シーケンス全体にわたってその注意点を均等に分布させるという,共通かつ興味深い現象を明らかにする。 この均一な注意パターンは、モデルが最も関連性の高い情報に集中できないため、幻覚を引き起こす可能性がある。 この問題を軽減するために,浅層におけるこれらの均一な注意パターンを局所的な注意パターンに置き換える,ART(Attention Replacement Technique)と呼ばれるトレーニングフリー手法を提案する。 この変更は、モデルが関連するコンテキストにもっと集中するように指示し、幻覚を減らします。 ARTは大規模な実験を通じて、複数のLLMアーキテクチャにおける幻覚の顕著な減少を示し、その効果と一般化性を、微調整や追加のトレーニングデータを必要とすることなく証明している。

関連論文リスト

• Self-Correction Inside the Model: Leveraging Layer Attention to Mitigate Hallucinations in Large Vision Language Models [0.0]
  内部自己補正機構は、生成中に隠れた状態を直接操作する。 LLaVA1.5-7BとQwen2.5-VL-7Bの0.2Mと0.1Mの追加パラメータの導入とトレーニングにより、複数の幻覚ベンチマークの視覚的グラウンド化が一貫して改善される。
  論文  参考訳（メタデータ） (2026-02-28T03:33:12Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
  大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。 我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
  論文  参考訳（メタデータ） (2025-10-22T02:41:07Z)
• IKOD: Mitigating Visual Attention Degradation in Large Vision-Language Models [20.036659182106806]
  本稿では,LVLM(Large Vision-Language Models)が,シーケンス長の増大に伴って幻覚が増大する長期バイアスを示すことを示す。 我々は、より画像中心のシーケンスを生成する協調デコーディング戦略である、イメージアテンション誘導キー値マージcOllaborative Decoding (IKOD)を提案する。
  論文  参考訳（メタデータ） (2025-08-05T14:05:15Z)
• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
  LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。 本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。 本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。