論文の概要: Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers
- arxiv url: http://arxiv.org/abs/2609.33144v1
- Date: Sun, 27 Sep 2026 03:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:04:55.566468
- Title: Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers
- Title（参考訳）: トレーニングホライゾンを超えて:ループ変換器における長さ一般化のメカニズムと限界
- Abstract要約: ループトランスフォーマーは、トレーニング中に遭遇したチェーンよりも長い推論チェーンに一般化することができる。
We compare two looped-transformer, which we called Matched-Recurrence Looped Transformer (MR-Loop) and Decoupled-Recurrence Looped Transformer (DR-Loop)。
リカレントステートはタスク関連コンテンツだけでなく,その計算状態も符号化する。
- 参考スコア（独自算出の注目度）: 33.164973715246866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped Transformers can generalize to reasoning chains longer than those encountered during training, but the computations enabling this behavior and limiting its extent remain unclear. We mechanistically compare two looped-Transformer configurations, which we call the Matched-Recurrence Looped Transformer (MR-Loop) and Decoupled-Recurrence Looped Transformer (DR-Loop), reflecting their respective recurrence-training schemes. We evaluate polynomial iteration, finite-state composition, and knowledge-graph traversal using detailed mechanistic analysis. Attention analysis, intermediate-state decoding, and causal interventions reveal distinct mechanisms learned under final-answer supervision. MR-Loop updates an intermediate state at a fixed readout while advancing relation selection through adjacent-token interactions and a transferable progress cue. DR-Loop instead propagates intermediate states across relation positions, forming an advancing computational frontier. However, both mechanisms become unreliable at greater depths: MR-Loop exhibits degradation of its readout state and progress cues, while DR-Loop exhibits declining reliability of state propagation. Limited self-correction allows local errors to persist and compound. Across both models, we uncover a common representational principle: recurrent states encode not only task-relevant content but also its computational status, whether that content remains in a form that can support subsequent computation. Transferable live-consumed and fresh-aged residual directions causally control whether represented information can participate in subsequent computation, including beyond the training horizon. We further show that length generalization need not rely on faithful step-by-step reasoning, as Looped Transformers can exploit task structure without explicitly representing every intermediate state.
- Abstract（参考訳）: ループトランスフォーマーは、トレーニング中に遭遇したチェーンよりも長い推論チェーンに一般化することができるが、この挙動を可能とし、その範囲を制限する計算はいまだに不明である。
繰り返し学習方式を反映した2つのループ変換器構成を機械的に比較し,Matched-Recurrence Looped Transformer (MR-Loop) とDecoupled-Recurrence Looped Transformer (DR-Loop) と呼ぶ。
詳細力学解析を用いて, 多項式反復, 有限状態合成, 知識グラフトラバーサルの評価を行った。
注意分析, 中間状態復号, 因果的介入は, 最終回答管理下で得られた異なるメカニズムを明らかにする。
MR-Loopは、隣り合った相互作用と転送可能な進行キューを通じて関係の選択を進めながら、固定読み出し時の中間状態を更新する。
DR-Loopは代わりに、関係位置を越えて中間状態を伝播し、進行する計算フロンティアを形成する。
MR-Loopはリードアウト状態の劣化と進行過程を示し、DR-Loopは状態伝播の信頼性の低下を示す。
限定的な自己補正により、局所的なエラーが持続し、複雑になる。
再帰状態は、タスク関連コンテンツだけでなく、その計算状態もエンコードする。
転送可能なライブ消費および新年残差方向は、トレーニング地平線を超えて、表示された情報がその後の計算に参加できるかどうかを因果的に制御する。
さらに、ループ変換器は全ての中間状態を明示的に表現することなくタスク構造を活用できるので、長さの一般化は忠実なステップバイステップ推論に頼る必要はないことを示す。
関連論文リスト
- Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。
再帰計算を選択されたデコーダ間隔にローカライズする。
確立された潜在推論モデルと比較して、競争精度が向上する。
論文 参考訳（メタデータ） (2026-07-28T16:06:46Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning [0.0]
電流変圧器は、位置間のリッチな潜伏残差ストリームを破棄し、新しい位置ごとに潜伏推論コンテキストを再構築する。
State Stream Transformer (SST) V2は、連続潜時空間におけるパラメータ効率の推論を可能にする。
2パスの並列トレーニング手順は、繰り返しの逐次依存性を解決し、計算効率のトレーニングを可能にする。
論文 参考訳（メタデータ） (2026-04-30T20:30:28Z) - Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [1.5736899098702974]
本稿では,パラメータ数から計算深度を分離するDepth-recurrent Transformerを提案する。
アーキテクチャには3つのメカニズムが組み込まれています(20以上のステップ)。
我々は,タスクの複雑さに対処して,思考ステップがスケールするにつれて,パフォーマンスが機会からほぼ完璧に遷移する,明確な計算フロンティアを観察する。
論文 参考訳（メタデータ） (2026-03-23T08:06:45Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。
この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。
バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
論文 参考訳（メタデータ） (2025-11-26T20:02:59Z) - Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。
最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。
本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
論文 参考訳（メタデータ） (2025-07-28T00:09:28Z) - Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。
我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。
ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
論文 参考訳（メタデータ） (2025-07-13T01:09:26Z) - Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。
本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。
実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文 参考訳（メタデータ） (2024-10-22T21:30:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。