論文の概要: Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers

• arxiv url: http://arxiv.org/abs/2604.07822v1
• Date: Thu, 09 Apr 2026 05:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.715509
• Title: Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
• Title（参考訳）: Loop, Think, and Generalize: Recurrent-Depth Transformersにおける暗黙の推論
• Authors: Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao,
• Abstract要約: 我々は暗黙の推論、すなわち1つの前方通過で知識やルールを組み合わせる能力について研究する。 トランスフォーマーベースの大規模言語モデルは、事実上の知識とルールを格納するが、暗黙のマルチホップ推論のためにこの知識を構成するのに失敗することが多い。 バニラ変圧器は両方の一般化課題に苦しむ一方で、再帰深度変圧器はそのような一般化を効果的に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 14.641203402842672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study implicit reasoning, i.e. the ability to combine knowledge or rules within a single forward pass. While transformer-based large language models store substantial factual knowledge and rules, they often fail to compose this knowledge for implicit multi-hop reasoning, suggesting a lack of compositional generalization over their parametric knowledge. To address this limitation, we study recurrent-depth transformers, which enables iterative computation over the same transformer layers. We investigate two compositional generalization challenges under the implicit reasoning scenario: systematic generalization, i.e. combining knowledge that is never used for compositions during training, and depth extrapolation, i.e. generalizing from limited reasoning depth (e.g. training on up to 5-hop) to deeper compositions (e.g. 10-hop). Through controlled studies with models trained from scratch, we show that while vanilla transformers struggle with both generalization challenges, recurrent-depth transformers can effectively make such generalization. For systematic generalization, we find that this ability emerges through a three-stage grokking process, transitioning from memorization to in-distribution generalization and finally to systematic generalization, supported by mechanistic analysis. For depth extrapolation, we show that generalization beyond training depth can be unlocked by scaling inference-time recurrence, with more iterations enabling deeper reasoning. We further study how training strategies affect extrapolation, providing guidance on training recurrent-depth transformers, and identify a key limitation, overthinking, where excessive recurrence degrades predictions and limits generalization to very deep compositions.
• Abstract（参考訳）: 我々は暗黙の推論、すなわち1つの前方通過で知識やルールを組み合わせる能力について研究する。 トランスフォーマーベースの大規模言語モデルは、実質的な事実的知識とルールを格納するが、暗黙のマルチホップ推論のためにこの知識を構成することに失敗し、パラメトリックな知識に対する構成的一般化の欠如を示唆する。 この制限に対処するため,同じ変圧器層上で反復計算が可能な再帰深度変圧器について検討する。 暗黙的推論シナリオ下での2つの構成一般化課題について検討する: 体系的一般化(system generalization)、すなわち、訓練中に構成に使われない知識の組み合わせ、深度外挿(deep extrapolation)、すなわち、限定的な推論深さ(例:最大5ホップのトレーニング)からより深い合成(例:10ホップ)へ一般化する。 スクラッチから訓練されたモデルを用いた制御された研究を通して、バニラ変圧器は両方の一般化課題に苦しむ一方で、リカレント深度変圧器はそのような一般化を効果的に行うことができることを示した。 系統的な一般化では,この能力は3段階のグラクキングプロセスを通じて出現し,記憶から分布内一般化へ移行し,最終的には機械的解析によって支持される体系的な一般化へと移行する。 深度補間では、推論時間の再帰を拡大することで、トレーニング深度を超える一般化を解き放つことができ、より多くのイテレーションがより深い推論を可能にする。 さらに、トレーニング戦略が外挿にどのように影響するか、反復深度変換器のトレーニング指導を提供し、過度な反復が予測を低下させ、一般化を非常に深い構成に制限する鍵となる制限を特定し、過度に再考する。

関連論文リスト

• Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [1.5736899098702974]
  本稿では,パラメータ数から計算深度を分離するDepth-recurrent Transformerを提案する。 アーキテクチャには3つのメカニズムが組み込まれています(20以上のステップ)。 我々は,タスクの複雑さに対処して,思考ステップがスケールするにつれて,パフォーマンスが機会からほぼ完璧に遷移する,明確な計算フロンティアを観察する。
  論文  参考訳（メタデータ） (2026-03-23T08:06:45Z)
• Is Grokking Worthwhile? Functional Analysis and Transferability of Generalization Circuits in Transformers [15.965423731432422]
  本研究は,知識同化と伝達における一般化回路の役割を評価するための研究である。 我々は、暗記された原子の事実を自然に確立された推論経路に統合する過程であると主張している。
  論文  参考訳（メタデータ） (2026-01-14T00:40:35Z)
• Transformers Provably Learn Chain-of-Thought Reasoning with Length Generalization [53.89723291716722]
  AI推論に関する重要な問題は、モデルが学習した推論パターンを外挿して、より長いチェーン・オブ・シークレット(CoT)で難しいタスクを解決できるかどうかである。 状態追跡問題の代数構造が、学習されたCoTの外挿の度合いをいかに支配するかを数学的に証明する。 定数深度変換器はCoTで$mathsfNC1$-complete問題を確実に学習することを保証する。
  論文  参考訳（メタデータ） (2025-11-10T18:40:24Z)
• Quantitative Bounds for Length Generalization in Transformers [58.175107357008876]
  変圧器における長さ一般化(LG)問題について検討する。 LGは、長い列上の変圧器の内部挙動が短い列上の振舞いによって「シミュレート」できるときに発生する。
  論文  参考訳（メタデータ） (2025-10-30T21:31:36Z)
• Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent [66.78052387054593]
  この研究は、トランスフォーマーがシンボリックな多段階推論問題をチェーン・オブ・ソート・プロセスを通してどのように解くかを研究する。 モデルがゴールノードからルートへの経路を出力する後方推論タスクと,より複雑な前方推論タスクである。 訓練された一層変圧器は、木々の一般化を保証することにより、両方の課題を確実に解決できることを示す。
  論文  参考訳（メタデータ） (2025-08-11T17:40:47Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization [22.033370572209744]
  我々は、トランスフォーマーがパラメトリック知識よりも暗黙的に推論できるかどうかを研究する。 我々は2つの代表的な推論タイプ、構成と比較に焦点を当てる。 トランスフォーマーは暗黙の推論を学習できるが、それはグルーキングでしか学べない。
  論文  参考訳（メタデータ） (2024-05-23T21:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。