論文の概要: Fact Grounded Attention: Eliminating Hallucination in Large Language Models Through Attention Level Knowledge Integration

• arxiv url: http://arxiv.org/abs/2509.25252v2
• Date: Thu, 02 Oct 2025 06:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 12:04:55.86115
• Title: Fact Grounded Attention: Eliminating Hallucination in Large Language Models Through Attention Level Knowledge Integration
• Title（参考訳）: Fact Grounded Attention: Attention Level Knowledge Integration による大規模言語モデルにおける幻覚の除去
• Authors: Aayush Gupta,
• Abstract要約: FGA(Fact Grounded Attention)は、信頼できない言語モデルを決定論的真理子に変換する新しいアーキテクチャ修正である。 FGAは、トランスフォーマーの数学的心臓(ソフトマックス前の注意スコア)に介入し、知識ベースに事実が存在すると幻覚できないモデルを作成する。
• 参考スコア（独自算出の注目度）: 0.32928123659012326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: "The greatest enemy of knowledge is not ignorance, it is the illusion of knowledge." Large Language Models have conquered natural language but remain prisoners of their own probabilistic nature--confidently hallucinating facts they never truly knew. We present Fact Grounded Attention (FGA), a novel architectural modification that transforms unreliable language models into deterministic truth tellers by injecting verifiable knowledge directly into the attention mechanism. Unlike existing approaches that patch hallucinations after generation or prepend retrieved text, FGA intervenes at the mathematical heart of the transformer--the pre-softmax attention scores--creating a model that cannot hallucinate when facts exist in its knowledge base. Our experiments across 1,107 technical queries spanning smartphones, laptops, and electric vehicles demonstrate a transformation from 6.3% accuracy in vanilla Llama 3.2 to 99.7% accuracy with FGA. More critically, knowledge updates occur in under one second without retraining, compared to hours for parameter editing approaches. FGA doesn't just reduce hallucination--it eliminates it entirely for verifiable facts, marking a fundamental shift from probabilistic approximation to deterministic precision in neural language generation.
• Abstract（参考訳）: 「知識の最大の敵は無知ではなく、知識の錯覚である。」 大言語モデルは、自然言語を征服してきたが、真に知らない事実を確信して幻覚化させている。我々は、信頼できない言語モデルを直接注意メカニズムに注入することで、決定論的真理テラーに変換する、新しいアーキテクチャ変更であるFact Grounded Attention(FGA)を提示する。生成またはプリペンドされたテキストの後に幻覚をパッチする既存のアプローチとは異なり、FGAは、トランスフォーマーの数学的心臓に介入する。--ソフトマックス前の注意スコアは、その知識ベースに事実が存在するときに幻覚できないモデルを作成する。我々の実験は、1,107の技術的クエリで、スマートフォン、ラップトップ、電気自動車が6.3%の精度で、バニラ・ランジュラ・バランジュラの精度から6.99パーセントの精度で、そして、FGAは1時間分の1の精度で、パラメーターの修正を行わずに修正する。

関連論文リスト

• The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination [85.18584652829799]
  本稿では,知識のシェードイングをモデル化することで,事実の幻覚を定量化する新しい枠組みを提案する。 オーバシャドウ(27.9%)、MemoTrap(13.1%)、NQ-Swap(18.3%)のモデル事実性を顕著に向上させる。
  論文  参考訳（メタデータ） (2025-02-22T08:36:06Z)
• Learning and Unlearning of Fabricated Knowledge in Language Models [16.971082623826263]
  共通知識と矛盾する事実が数万のトレーニングステップで記憶されていることを示す。 LMにおける知識共用事実の影響は,長期にわたる可能性があるが,マルチステップスパース更新の新たな適用により,ほぼ消去可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T05:33:14Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Calibrated Language Models Must Hallucinate [11.891340760198798]
  最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。 この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。 訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:29:50Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models [65.80573571314534]
  MixAlignは、ユーザと知識ベースの両方と対話して、ユーザの質問が格納された情報とどのように関連しているかを把握し、統合するフレームワークである。 実験結果から、モデル性能の向上と幻覚の緩和における知識アライメントの重要性が強調され、それぞれ22.2%と27.1%の改善が指摘された。
  論文  参考訳（メタデータ） (2023-05-23T04:22:50Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。