論文の概要: Rotate the Loop: Blockwise Conformality for Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.14030v1
• Date: Wed, 30 Sep 2026 23:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.471899
• Title: Rotate the Loop: Blockwise Conformality for Looped Transformers
• Title（参考訳）: ループの回転:ループ変換器のブロックワイド整合性
• Abstract要約: ループが状態を追跡することを学習したかどうかが,この地図の形状に関する幾何学的問題であることを示す。 残差を座標整列群に分割し,それぞれ内部を回転させるブロックワイド整列注入を提案する。
• 参考スコア（独自算出の注目度）: 72.4010041245191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers reuse one shared block across many recurrent steps, so depth becomes a quantity that can be spent at runtime rather than a stack of distinct layers. Those extra steps help only if a write made on one recurrent step is still readable on later ones, and that depends on the linear map applied to the residual between recurrent steps. We show that whether the loop learns to track state is a geometric question about the form of this map, and we propose blockwise conformal injections: the residual splits into coordinate-aligned groups and rotates inside each one, so every group has its own timescale while the geometry stays exact within it. Our experiments show a performance increase on a demanding form of state tracking - last-token accuracy when the rest of the prefix is already correct - and on language modelling, where a signal written earlier has to be retrieved at the end of the sequence.
• Abstract（参考訳）: ループ変換器は、複数の繰り返しステップで1つの共有ブロックを再利用するので、深さは異なるレイヤのスタックではなく、実行時に使用される量になります。 これらの余分なステップは、あるリカレントステップで書かれた書き込みが後続のステップで読み取り可能である場合にのみ有効であり、これはリカレントステップ間の残余に適用されるリニアマップに依存する。 ループが状態を追跡することを学習するかどうかは、この写像の形式に関する幾何学的問題であり、残差は座標整列群に分解され、各群の内部で回転するので、各群はその内部で正確な位置を保っている間に、独自の時間スケールを持つ。 我々の実験は、要求される状態追跡(プレフィックスの残りが既に正しい場合の最終的な精度)と、前述した信号がシーケンスの最後に取得される言語モデリング(英語版)の性能向上を示す。

関連論文リスト

• Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does [40.71142599085565]
  ループトランスフォーマーは繰り返し同じトランスフォーマー層を適用し、遅延計算の繰り返しアーキテクチャを提供する。 それぞれのループが実際に同じことを繰り返すのか、そうでなければ、どの共有パラメータを異なる操作にルーティングするのか? 凍結したループは、その入射した隠れ状態を変更することで、異なる遷移に向けて操れることを示す。
  論文  参考訳（メタデータ） (2026-09-30T14:59:21Z)
• Looped Transformers as Optimizers [39.57587942081881]
  Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。 最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。 ループした隠された状態は、深さを通して更新される高速な重みと見なす。 ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
  論文  参考訳（メタデータ） (2026-09-29T12:31:51Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation [0.2538209532048867]
  我々は、永続的なミュータブルメモリがテスト時間推論の中心的なリソースであると主張している。 圧縮潜在ループ,全シーケンス状態ループ,チェーン・オブ・シークレット・スクラッチパッドの3つのメモリ状態を比較した。
  論文  参考訳（メタデータ） (2026-05-29T02:38:49Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• TAPNext++: What's Next for Tracking Any Point (TAP)? [58.6925880906723]
  本稿では,低メモリとアーキテクチャの計算フットプリントを保ちながら,桁数桁長の点を追跡するモデルを提案する。 再検出性能が現在の文献の盲点であることを強調し,新しいメトリクスであるRe-detection Average Jaccardを導入する。 複数のベンチマークにおいて,再帰型トランスフォーマーがポイントトラッキングのために大幅に改善され,新たな最先端のモデルが設定できることが実証された。
  論文  参考訳（メタデータ） (2026-04-12T11:02:13Z)
• Two-Scale Latent Dynamics for Recurrent-Depth Transformers [18.852161704625562]
  トークンを出力する前に遅延計算を繰り返すことにより、電流深度変換器の幾何学がテスト時間計算をスケールする。 チェックポイント全体では、ループステップがより小さくなり、互いに直交する傾向が増している。 これらのダイナミクスは、ステップサイズにおけるモデルの2階差に基づく早期退避機構を動機付けている。
  論文  参考訳（メタデータ） (2025-09-27T14:01:40Z)
• Context-aware and Scale-insensitive Temporal Repetition Counting [60.40438811580856]
  時間的反復カウントは、与えられた反復行動のサイクル数を推定することを目的としている。 既存のディープラーニング手法は、実生活における複雑な反復行動に対して無効である固定された時間スケールで繰り返し動作が実行されると仮定する。 本稿では,未知かつ多様なサイクル長による繰り返しカウントの課題に対処するための文脈認識・スケール非感性フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-18T05:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。