論文の概要: Identity Bridge: Enabling Implicit Reasoning via Shared Latent Memory
- arxiv url: http://arxiv.org/abs/2509.24653v1
- Date: Mon, 29 Sep 2025 12:02:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.95511
- Title: Identity Bridge: Enabling Implicit Reasoning via Shared Latent Memory
- Title（参考訳）: Identity Bridge: 共有遅延メモリによる暗黙の推論を実現する
- Authors: Pengxiao Lin, Zheng-An Chen, Zhi-Qin John Xu,
- Abstract要約: 本稿では,ゼロホップ・アイデンティティ・タスク上でモデルを監視することで構成ギャップを解消するメカニズムであるアイデンティティ・ブリッジを紹介する。
この機構により、モデルが分配不能な2つのホップ推論をうまく実行できることが示される。
研究は大規模モデルに拡張され、潜時記憶を通して2つのホップ推論がまだ達成されていることを観察する。
- 参考スコア（独自算出の注目度）: 7.204534405819971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite remarkable advances, large language models often fail at compositional reasoning tasks, a phenomenon exemplified by the ``curse of two-hop reasoning''. This paper introduces the Identity Bridge, a simple yet powerful mechanism that resolves this compositionality gap by supervising the model on a zero-hop identity task. We demonstrate empirically that this addition enables models to successfully perform out-of-distribution two-hop reasoning, a task they otherwise completely fail. To explain this phenomenon, we provide a theoretical analysis using a simplified Emb-MLP model, proving that identity supervision reshapes the model's latent geometry. We show this alignment is induced by an implicit nuclear-norm regularization during optimization, which favors low-rank solutions that share structure across tasks. For complex tasks, we use small initialization or weight decay to enhance the regularization effect, which enhances the latent space alignment effect and slows down the generalization decay. Finally, we extend our investigation to large-scale models, observing that they still achieve two-hop reasoning through the latent memory, which provides crucial inspiration for enhancing their implicit reasoning abilities.
- Abstract（参考訳）: 顕著な進歩にもかかわらず、大きな言語モデルは、しばしば構成的推論タスクで失敗する。
本稿では,ゼロホップ・アイデンティティ・タスク上でモデルを監視することで,この構成ギャップを解消するシンプルかつ強力なメカニズムであるアイデンティティ・ブリッジを紹介する。
この追加により、モデルがアウト・オブ・ディストリビューション(out-of-distriion)の2つのホップ推論を成功させることができることを実証的に実証する。
この現象を説明するため、単純化されたEmb-MLPモデルを用いて理論的解析を行い、モデルの潜伏幾何を識別監督することが証明された。
このアライメントは、最適化中の暗黙の核ノルム正規化によって誘導され、タスク間で構造を共有する低ランクな解が好まれる。
複雑なタスクでは、正規化効果を高めるために小さな初期化やウェイト崩壊を使い、遅延空間アライメント効果を高め、一般化崩壊を遅くする。
最後に、我々の調査を大規模モデルに拡張し、潜在記憶を通じて2つのホップ推論を達成し、その暗黙的推論能力を高める上で重要なインスピレーションを与えることを観察する。
関連論文リスト
- Lost at the Beginning of Reasoning [82.18834329384514]
第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。
本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
モデル自己補正能力を体系的に評価するために、意図的に欠陥のある第1の推論ステップで構築された新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-06-27T09:53:57Z) - Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [76.42159902257677]
我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。
OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。
我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
論文 参考訳（メタデータ） (2025-06-12T16:50:45Z) - Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。
回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。
提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
論文 参考訳（メタデータ） (2025-02-13T07:19:05Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
遠方表現学習は、観測データ内の本質的要因を抽出する試みである。
我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。
これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
論文 参考訳（メタデータ） (2024-02-15T05:07:54Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。