論文の概要: Learning to Extrapolate in Depth with Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.14456v1
• Date: Sat, 10 Oct 2026 01:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:29:07.176561
• Title: Learning to Extrapolate in Depth with Looped Transformers
• Title（参考訳）: ループ変換器を用いた深度外挿学習
• Abstract要約: ループ変換器は繰り返しにまたがってひとつのブロックを再利用し、自然な疑問を提起する。 本研究では、より難しいグラフがより長い範囲の情報伝達を必要とする全ペアグラフ接続について検討する。 このウィンドウに対して明確なエンドポイントを導出し、トレーニングの深さと硬さの関数としてトレーニングを超えて解けるグラフ硬度を束縛する。
• 参考スコア（独自算出の注目度）: 46.17633452082173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped transformers reuse a single block across iterations, raising a natural question: how far can a block trained at one depth be safely extrapolated to greater depths? We study this question for all-pairs graph connectivity, where harder graphs require longer-range information propagation. We show that under exchangeability and symmetric positive initialization, population training at depth K converges to an update rule governed by a single effective parameter that balances graph propagation against fitting structure unresolved at training depth. This trade-off creates a finite extrapolation window: too few test-time loops provide insufficient propagation, while too many eventually create false connections. We derive explicit endpoints for this window and bound the graph hardness solvable beyond training as a function of training depth and hardness. In particular, a test depth chosen solely from the training distribution can guarantee recovery on substantially harder graphs, with a certified depth gain that grows exponentially as training depth outpaces training hardness. Experiments validate the predicted windows and show how compute budget and initialization affect the optimal training depth.
• Abstract（参考訳）: ループ変換器は繰り返しにまたがってひとつのブロックを再利用し、自然な疑問を提起する。 本研究では、より難しいグラフがより長い範囲の情報伝達を必要とする全ペアグラフ接続について検討する。 交換性および対称正初期化の下では、深度Kでの集団訓練は、訓練深度で未解決の適合構造に対してグラフの伝播のバランスをとる単一の有効パラメータによって支配される更新規則に収束することを示す。 このトレードオフは、有限な外挿ウィンドウを生成する: テスト時間ループが多すぎると、伝播が不十分になり、多くの人が最終的に偽の接続を生成する。 このウィンドウに対して明確なエンドポイントを導出し、トレーニングの深さと硬さの関数としてトレーニングを超えて解けるグラフ硬度を束縛する。 特に、トレーニング分布からのみ選択されたテスト深度は、トレーニング深度がトレーニング硬度を上回るにつれて指数関数的に増加する認定深度ゲインにより、非常に難しいグラフの回復を保証することができる。 実験では、予測されたウィンドウを評価し、計算予算と初期化が最適なトレーニング深さにどのように影響するかを示す。

関連論文リスト

• Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs [23.88413287449122]
  計算量が豊富だが、ユニークなトレーニングデータが有限であり、同じデータ上で繰り返しトレーニングする必要がある場合、事前学習について検討する。 まず、無限完全事前学習を再考し、そのフロンティアが以前に固定されたり、単独で研究されたりした選択に批判的に依存することを示す。
  論文  参考訳（メタデータ） (2026-10-11T22:42:39Z)
• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
  強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
  論文  参考訳（メタデータ） (2026-06-19T12:36:23Z)
• Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks [10.793433622094959]
  マルチパスニューラルネットワークに有効な深度の概念をグラフベースで導入する。 最適学習速度は, 普遍的な -3/2 電力法則に従って, 有効深度で減衰することを示す。 実験は予測された斜面を確認し、深度と幅をまたいだ学習率の信頼性の高いゼロショット転送を可能にする。
  論文  参考訳（メタデータ） (2026-02-07T11:10:54Z)
• AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
  本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。 これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
  論文  参考訳（メタデータ） (2023-10-15T05:15:45Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Improve Agents without Retraining: Parallel Tree Search with Off-Policy Correction [63.595545216327245]
  木探索(TS)における2つの大きな課題に取り組む。 我々はまず、TSと事前学習された値関数による行動選択が、元の事前学習されたエージェントと比較して性能を低下させるという、反直感的な現象を発見し、分析する。 Batch-BFS(Batch-BFS)は,木の各深さのすべてのノードを同時に前進させるGPUワイドファースト検索である。
  論文  参考訳（メタデータ） (2021-07-04T19:32:24Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。