論文の概要: Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models

• arxiv url: http://arxiv.org/abs/2610.39016v1
• Date: Wed, 28 Oct 2026 22:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.016147
• Title: Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models
• Title（参考訳）: 変圧器の入射推論:GPT-2様モデルにおける構成性ギャップのブリッジ化
• Abstract要約: GPT-2型変圧器モデルを用いて, 制御された2つのホップ推論設定における構成性ギャップについて検討した。 我々は、学習された合成回路の第2ホップ検索ステップと位置整合したフォーマットで、IDとOODの両方の原子事実を提示することにより、トレーニング分布を変更する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional generalization remains a persistent limitation of transformer language models: even when a model learns to combine known facts correctly in-distribution (ID), the same compositional mechanism may fail when applied to out-of-distribution (OOD) knowledge. We investigate this compositionality gap in a controlled two-hop reasoning setting using a GPT-2-like transformer model trained from scratch. Building on prior work identifying a circuit associated with compositional generalization, we test whether the failure of OOD transfer is related to how atomic knowledge is structurally exposed during training. We modify the training distribution by presenting both ID and OOD atomic facts in a format positionally aligned with the second-hop retrieval step of the learned compositional circuit, without modifying the model architecture or adding OOD compositional supervision. Under this intervention, the model successfully transfers the learned ID compositional behaviour to held-out OOD atomic facts, closing the observed compositionality gap in the controlled setting. Our results provide evidence that the observed compositionality gap is not a fundamental architecture limitation and that it can be overcome through mechanistically informed training distribution design.
• Abstract（参考訳）: 構成一般化はトランスフォーマー言語モデルの永続的な制限であり、モデルが既知の事実を正しく分配する(ID)ことを学習したとしても、アウト・オブ・ディストリビューション(OOD)の知識に適用した場合、同じ構成機構が失敗する可能性がある。 GPT-2型変圧器モデルを用いて, 制御された2つのホップ推論設定における構成的ギャップについて検討した。 構成一般化に関連する回路を同定する先行研究に基づいて,OOD伝達の失敗が,トレーニング中に原子知識がいかに構造的に露出しているかを検証した。 我々は、モデルアーキテクチャを変更したり、OOD合成監督を追加することなく、学習された構成回路の2ホップ検索ステップに位置整合したフォーマットで、IDとOOD原子の事実を提示することにより、トレーニング分布を変更する。 この介入の下で、モデルは学習したID構成挙動をOOD原子事実に伝達し、制御された環境における観察された構成性ギャップを閉じる。 この結果から,観測された構成性ギャップは基本的なアーキテクチャの限界ではなく,機械的に情報を得た学習分布設計によって克服できることを示す。

関連論文リスト

• From Hybrid Mechanistic--Data-Driven Modeling Toward Neuro-Symbolic AI: What, Why, and How [0.0]
  我々はこれらの設計をNeSyインタフェースのインスタンスとして再構築することで、ハイブリッドモデリングとニューロシンボリック(NeSy)AIを橋渡しする。 結果として得られた翻訳であるHybrid-to-NeSy (H2N)は、言語側で機械的な知識を配置し、信念側で学習したモジュールと、論理側で制約を伴って妥当性ドメインを付与する。
  論文  参考訳（メタデータ） (2026-07-24T18:00:00Z)
• AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。 構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。 textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
  論文  参考訳（メタデータ） (2026-07-17T07:51:03Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic [5.938190199042771]
  大規模言語モデル(LLM)は、大規模であっても予期せぬ誤りや意図せぬ振る舞いを示すことが多い。 合成算術課題における変圧器の訓練による動的学習のメカニズムについて検討する。 この結果から,モデルの学習行動と所望のスキル構成との根本的なミスマッチが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-30T03:38:54Z)
• The Kinetics of Reasoning: How Chain-of-Thought Shapes Learning in Transformers? [25.29458951592086]
  チェーン・オブ・シント(CoT)の監督はトランスフォーマーの性能を大幅に向上させることができる。 シンボリック推論タスクにおけるトランスフォーマーの事前学習により、これらの学習ダイナミクスをグラクキングのレンズを通して検討する。
  論文  参考訳（メタデータ） (2025-10-28T20:14:26Z)
• Attention to Order: Transformers Discover Phase Transitions via Learnability [0.0]
  本稿では,微視的状態から構造を抽出するための注意機構を含む変圧器モデルの能力として定義される,普遍的基準としての学習可能性を紹介する。 モンテカルロが生成した2次元Isingモデルの自己教師付き学習を用いて,次相が学習性の向上に対応することを示す。 以上の結果から, 位相遷移のデータ駆動マーカーとしての学習可能性を確立し, 凝縮物質中の長距離秩序と現代言語モデルにおける構造の出現との深い並列性を強調した。
  論文  参考訳（メタデータ） (2025-10-08T18:00:59Z)
• What Drives Compositional Generalization in Visual Generative Models? [56.01574461407906]
  画像生成と映像生成において,様々なデザイン選択が構成一般化にどのように影響するかを体系的に研究する。 i)訓練対象が離散的あるいは連続的な分布に作用するか否か,および(ii)訓練中に構成概念に関する情報を提供する条件がどの程度あるか,という2つの要因を同定する。 これらの知見に基づいて,MaskGITの離散的損失を補助的連続JEPAベースで緩和することにより,MaskGITのような離散モデルにおける構成性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-10-03T15:02:27Z)
• Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization [9.191236388401226]
  大規模言語モデルの学習における明示的連鎖理論(CoT)の統合は、その推論能力を向上させるが、CoTが一般化を強化するメカニズムはいまだよく理解されていない。 本研究は,(1)テキストショーCoTトレーニングが内部モデル表現を再評価し,(2)テキストトウハウは分布内(ID)と分布外(OOD)の両方を一般化する。
  論文  参考訳（メタデータ） (2025-02-07T05:21:13Z)
• Identifiable Exchangeable Mechanisms for Causal Structure and Representation Learning [54.69189620971405]
  IEM(Identible Exchangeable Mechanisms)と呼ばれる,表現と構造学習のための統合フレームワークを提供する。 IEMは、交換可能な非i.d.データにおける因果構造同定に必要な条件を緩和する新しい洞察を提供する。 また、認識可能な表現学習における双対性条件の存在を実証し、新たな識別可能性結果をもたらす。
  論文  参考訳（メタデータ） (2024-06-20T13:30:25Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。