論文の概要: Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
- arxiv url: http://arxiv.org/abs/2606.29983v1
- Date: Mon, 29 Jun 2026 08:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.138494
- Title: Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
- Title（参考訳）: 学習確率停止によるループ変換器の補間安定化
- Abstract要約: 共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
- 参考スコア（独自算出の注目度）: 56.14767235650558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Looped Transformers, which repeatedly apply a shared transformer block, are an architecturally natural fit for variable-length algorithmic tasks. Although they can exhibit strong length generalization beyond the length of training sequences, this behavior is brittle, yielding high out-of-distribution (OOD) variance, even across well-performing in-distribution solutions. We trace this variance to the spurious correlation in simple algorithmic tasks between sequence length and number of loops. Introducing stochasticity into the number of loops during training sharply reduces OOD variance and stabilizes predictions across inference-time loop counts. To improve upon heuristic randomization schemes, we further analyze RL-Halting as a learned stochastic schedule and find that it generally improves the accuracy-stability trade-off. Across binary addition, Dyck-1, Unique Set, and Copy, learned stochastic stopping often improves this trade-off but can also stabilize a suboptimal computation. Our work suggests that "when to stop" should be treated as a training-time design choice, not merely an inference-time computation-allocation rule.
- Abstract（参考訳）: 共有トランスブロックを繰り返し適用するLooped Transformerは、可変長のアルゴリズムタスクに自然に適合するアーキテクチャである。
トレーニングシーケンスの長さを超えて、強い長さの一般化を示すことができるが、この挙動は脆く、高いアウト・オブ・ディストリビューション(OOD)のばらつきをもたらす。
この差分を、列長とループ数の間の単純なアルゴリズム的タスクにおける突発的相関に追従する。
トレーニング中のループ数に対する確率性の導入は、OODのばらつきを著しく低減し、推論時ループ数にわたって予測を安定化させる。
ヒューリスティックなランダム化方式を改善するために、RL-Haltingを学習確率スケジュールとして分析し、一般に精度と安定性のトレードオフを改善する。
二進法に加えたDyck-1、Unique Set、Copyは確率的停止を学習し、しばしばこのトレードオフを改善するが、同時に準最適計算を安定化させる。
私たちの研究は、"停止する"ことは単なる推論時間計算割り当てルールではなく、トレーニング時の設計選択として扱うべきであることを示唆している。
関連論文リスト
- Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization [15.2286904549704]
二重アンカー機構,すなわち二重アンカー機構が,そのようなエラーの蓄積を伴わずに反復設定にまで拡張されていることを示す。
強い単調作用素の場合、同じアルゴリズムはよりシャープな複雑さを達成し、$$-dependenceという観点で下界とほぼ一致する。
論文 参考訳（メタデータ） (2026-08-12T13:25:55Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳（メタデータ） (2026-06-16T15:03:05Z) - Beyond Similarity: Temporal Operator Attention for Time Series Analysis [5.084091872064936]
時系列予測における永続的なパラドックスは、構造的に単純で線形なモデルが高容量トランスフォーマーより優れていることである。
我々は、明示的に学習可能なシーケンス空間演算子で注意を喚起するフレームワークである、$textbf Operator Attention (TOA)$を提案する。
より高密度な$N倍の演算子を実現するために,トレーニングを安定させ,自明な記憶を防止できる高分散ドロップアウト機構を導入する。
論文 参考訳（メタデータ） (2026-05-11T22:13:53Z) - Simply Stabilizing the Loop via Fully Looped Transformer [41.240805541680395]
Looped Transformerは、ループイテレーションの数が増えると、トレーニングの不安定性に悩まされる。
実験により、フルループ変換器はトレーニングの安定性を改善し、下流の性能を高め、異なるテスト時間計算予算の下で予備的適応性を提供することを示した。
論文 参考訳（メタデータ） (2026-05-11T07:21:53Z) - Learning to Shuffle: Block Reshuffling and Reversal Schemes for Stochastic Optimization [20.63685754619351]
大規模言語モデル(LLM)誘導プログラム進化フレームワークを用いて,SGDを置き換えることなく,効率的なシャッフルルールを発見する。
ブロックリシャッフルは, 統一シャッフルにおけるプレフィックス-勾配変動定数を厳格に低減し, 弱条件下でのランダムリシャッフルよりも良好な改善をもたらすことを示す。
また、ペア逆転がエポックマップを対称性付け、先行する順序依存の2次項をキャンセルし、ステップサイズにおいて2次から3次への順序感度を低下させることを示した。
論文 参考訳（メタデータ） (2026-03-31T21:40:43Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning [47.06427150903487]
CoT(Chain-of-Thought)プロンプトは、言語モデルの推論能力を高めるための強力なテクニックとして登場した。
ループ変換器は目覚ましい長さの一般化能力を有するが、その限定的な一般化と適応性により、自己回帰解の代替として機能することができない。
ループ変換器の強度をよりよく活用するためのRELAYを提案する。
論文 参考訳（メタデータ） (2025-02-12T15:17:04Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳（メタデータ） (2021-03-24T10:50:43Z) - Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。
これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
論文 参考訳（メタデータ） (2020-08-13T15:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。