論文の概要: Inside the Loop: A Mechanistic Study of Weight-Tied Transformers on Depth-Bound Algorithmic Tasks

• arxiv url: http://arxiv.org/abs/2610.24135v1
• Date: Fri, 16 Oct 2026 19:06:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:47:19.573231
• Title: Inside the Loop: A Mechanistic Study of Weight-Tied Transformers on Depth-Bound Algorithmic Tasks
• Title（参考訳）: ループ内部:深さ境界アルゴリズム上の重み付き変圧器の力学的検討
• Abstract要約: そこで本研究では,モデルが開始ノードから$H$ホップを追随し,到達したノードを報告する。 この課題を解くためには最小限の有効深さが必要であり、それ以外は重み付けの度合いが決定要因となる。
• 参考スコア（独自算出の注目度）: 20.872914606486127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving algorithmic tasks with many sequential steps typically requires scaling up transformer depth or chain-of-thought length, incurring unfavorable parameter and inference-compute costs, respectively. Looped transformers, which reuse one block of layers across many iterations, are poised to address this, since they scale effective depth without adding parameters or tokens. Yet, it remains unclear what each iteration is actually computing, or whether the loop merely simulates a deeper untied stack. Here, we study directed permutation traversal, in which a model follows $H$ hops from a starting node and reports the node it reaches, so every intermediate hop has a known ground truth. We find that a minimum effective depth is necessary to solve the task, beyond which the degree of weight tying becomes the determining factor. For instance, a looped transformer with a four-layer block iterated eight times solves the task in every seed, while an identically-trained untied transformer of the same effective depth never does, succeeding only with a lower learning rate or supervision of its intermediate layers. Probing and intervening on the residual stream, we find that the looped model advances through the intermediate nodes gradually, forming a staircase that adapts to its iteration budget, whereas the untied model, at that lower rate, exposes them only in its final layers. Taken together, our results recast looped transformers as iterative program learners, which allocate their iterations to successive steps of the algorithm and solve tasks that identically-trained untied models of the same effective depth do not. Code is available at https://github.com/magnus-sesodia/insidetheloop.
• Abstract（参考訳）: 多くの逐次ステップでアルゴリズムタスクを解くには、典型的にはトランスフォーマー深さやチェーンオブ思考の長さをスケールアップし、それぞれ好ましくないパラメータと推論計算コストを発生させる必要がある。 多くのイテレーションで1ブロックのレイヤを再利用するループトランスフォーマーは、パラメータやトークンを追加せずに効果的な深さをスケールするため、この問題に対処する。 しかし、各イテレーションが実際に何を計算しているか、あるいはループが単により深い未処理のスタックをシミュレートするだけなのかは不明だ。 ここでは、有向置換トラバーサルについて検討し、そのモデルが開始ノードから$H$ホップを追随し、到達したノードを報告するので、すべての中間ホップは既知の基底真理を持つ。 この課題を解くためには最小限の有効深さが必要であり、それ以外は重み付けの度合いが決定要因となる。 例えば、4層ブロックを8回繰り返したループ変圧器は、すべてのシードでタスクを解決し、同じ効果的な深さの同じ訓練を受けていない未学習変圧器は、低い学習率または中間層の監督によってのみ成功する。 残差ストリームの探索と介入により、ループモデルが中間ノードを徐々に進行し、イテレーション予算に適応する階段を形成するのに対し、未処理モデルはその低いレートで最終層にのみ露出する。 その結果、ループ変換器を反復型プログラム学習器として再放送し、アルゴリズムの逐次ステップに繰り返し割り当て、同じ効果的な深さの未学習モデルと同一に訓練されたタスクを解決した。 コードはhttps://github.com/magnus-sesodia/insidetheloop.comで入手できる。

関連論文リスト

• Rotate the Loop: Blockwise Conformality for Looped Transformers [72.4010041245191]
  ループが状態を追跡することを学習したかどうかが,この地図の形状に関する幾何学的問題であることを示す。 残差を座標整列群に分割し,それぞれ内部を回転させるブロックワイド整列注入を提案する。
  論文  参考訳（メタデータ） (2026-09-30T23:32:34Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does [40.71142599085565]
  ループトランスフォーマーは繰り返し同じトランスフォーマー層を適用し、遅延計算の繰り返しアーキテクチャを提供する。 それぞれのループが実際に同じことを繰り返すのか、そうでなければ、どの共有パラメータを異なる操作にルーティングするのか? 凍結したループは、その入射した隠れ状態を変更することで、異なる遷移に向けて操れることを示す。
  論文  参考訳（メタデータ） (2026-09-30T14:59:21Z)
• Looped Transformers as Optimizers [39.57587942081881]
  Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。 最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。 ループした隠された状態は、深さを通して更新される高速な重みと見なす。 ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
  論文  参考訳（メタデータ） (2026-09-29T12:31:51Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• One Step Forward and K Steps Back: Better Reasoning with Denoising Recursion Models [4.903188186588148]
  Denoising Recursion Modelsは、データをノイズで汚すが、複数のステップで破損を逆転させるようモデルを訓練する手法である。 この戦略は、中間状態の抽出可能なカリキュラムを提供すると同時に、テストとの整合性を向上し、非グレーディで前向きな世代にインセンティブを与える。 この手法はARC-AGI上のTiny Recursion Modelよりも優れており、最近はブレークスルー性能を達成している。
  論文  参考訳（メタデータ） (2026-04-20T21:06:12Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。