論文の概要: Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers

• arxiv url: http://arxiv.org/abs/2506.10887v1
• Date: Thu, 12 Jun 2025 16:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.848231
• Title: Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers
• Title（参考訳）: 一般化と幻覚 : 変圧器の外部推論を理解する
• Authors: Yixiao Huang, Hanlin Zhu, Tianyu Guo, Jiantao Jiao, Somayeh Sojoudi, Michael I. Jordan, Stuart Russell, Song Mei,
• Abstract要約: 我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
• 参考スコア（独自算出の注目度）: 76.42159902257677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can acquire new knowledge through fine-tuning, but this process exhibits a puzzling duality: models can generalize remarkably from new facts, yet are also prone to hallucinating incorrect information. However, the reasons for this phenomenon remain poorly understood. In this work, we argue that both behaviors stem from a single mechanism known as out-of-context reasoning (OCR): the ability to deduce implications by associating concepts, even those without a causal link. Our experiments across five prominent LLMs confirm that OCR indeed drives both generalization and hallucination, depending on whether the associated concepts are causally related. To build a rigorous theoretical understanding of this phenomenon, we then formalize OCR as a synthetic factual recall task. We empirically show that a one-layer single-head attention-only transformer with factorized output and value matrices can learn to solve this task, while a model with combined weights cannot, highlighting the crucial role of matrix factorization. Our theoretical analysis shows that the OCR capability can be attributed to the implicit bias of gradient descent, which favors solutions that minimize the nuclear norm of the combined output-value matrix. This mathematical structure explains why the model learns to associate facts and implications with high sample efficiency, regardless of whether the correlation is causal or merely spurious. Ultimately, our work provides a theoretical foundation for understanding the OCR phenomenon, offering a new lens for analyzing and mitigating undesirable behaviors from knowledge injection.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、微調整によって新しい知識を得ることができるが、このプロセスは、新しい事実から著しく一般化できるが、誤った情報を幻覚させる傾向があるという、厄介な双対性を示す。 しかし、この現象の理由はよく分かっていない。 この研究において、両行動は、因果関係のないものでさえも概念を連想させることによって含意を推論する能力である、アウト・オブ・コンテクスト推論(OCR)と呼ばれる単一のメカニズムに由来すると論じる。 5つの有名なLCMを対象とした実験により、OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を実際に駆動することを確認した。 この現象の厳密な理論的理解を構築するために、我々はOCRを合成的事実的リコールタスクとして定式化する。 重みが組み合わさったモデルでは不可能であり, 行列因数分解の重要な役割を浮き彫りにする一方, 積算出力と値行列を持つ一層単層アテンションオンリー変圧器は, この問題を解くことを実証的に示す。 我々の理論的分析は、OCRの能力は勾配降下の暗黙の偏りに起因しうることを示し、これは、結合出力値行列の核ノルムを最小化する解を好む。 この数学的構造は、なぜモデルが事実や含意と高いサンプル効率を関連付けるのかを、相関が因果関係であるか、あるいは単に刺激的であるかにかかわらず説明する。 最終的に、我々の研究はOCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。

関連論文リスト

• CoT-Kinetics: A Theoretical Modeling Assessing LRM Reasoning Process [45.88054259124436]
  最近の大規模推論モデルは、大規模言語モデルの推論能力を大幅に改善している。 我々は、CoT-Kineticsエネルギー方程式を確立するための新しいアプローチを提案する。 我々のCoT-Kineticsエネルギーはスカラースコアを割り当て、推論フェーズの音質を具体的に評価する。
  論文  参考訳（メタデータ） (2025-05-19T17:44:26Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [39.613595533503144]
  CoT(Chain-of-Thought)プロンプトは、大規模言語モデルにおける推論能力を高める能力として広く認識されている。 CoTは、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを示す。 パターンベースICLにおけるCoTの性能を駆動する基本的明示的双対性を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing [20.276952762837098]
  知識編集(KE)アルゴリズムは、モデルの重みを変更して、不正、時代遅れ、その他の望ましくない事実関連付けに対するターゲット更新を実行する。 我々は,KEの適用が,モデルのより広い事実的リコール精度に悪影響を及ぼし,推論能力が低下することを示す。 我々の研究は、KEがモデル能力に悪影響を及ぼす理由を説明するための正確な力学仮説をもたらす。
  論文  参考訳（メタデータ） (2024-10-22T17:13:34Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。