Fugu-MT 論文翻訳(概要): Scheduling Recursive Reasoning in Looped Transformers

論文の概要: Scheduling Recursive Reasoning in Looped Transformers

arxiv url: http://arxiv.org/abs/2609.36653v1
Date: Tue, 29 Sep 2026 03:54:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.167952
Title: Scheduling Recursive Reasoning in Looped Transformers
Title（参考訳）: ループ変換器における再帰推論のスケジューリング
Abstract要約: Trajectory Adaptive Progress-Fluctuation Schedulerは、リトレーニングなしで構造化推論タスクの終端精度を向上させる。 TAPSは、一致したベースライン精度で最大1.56倍のウォールクロックスピードアップで、さらなる精度向上をもたらす。これらの結果は、アーキテクチャと深さと共に繰り返し推論の相補的な制御軸として更新スケールを確立する。
参考スコア（独自算出の注目度）: 21.17643456743291
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recurrent reasoning models have attracted growing attention for scaling test-time computation, typically by iteratively refining latent states with shared parameters. However, these models apply each learned update with a fixed unit scale, which can be conservative when updates make persistent progress and overly aggressive when they fluctuate, limiting the benefit of additional loops. To understand how the scale should vary along the trajectory, we first analyze the sensitivity of terminal loss to recurrent update scale. We show that its temporal average admits an exact decomposition into persistent-progress and centered-fluctuation contributions. Based on this, we introduce the Trajectory Adaptive Progress-Fluctuation Scheduler (TAPS), which tracks their balance across recurrent updates and adapts the step size online. Theoretically, we establish sufficient conditions under which TAPS reduces expected terminal loss and reaches a target quality in fewer recurrent loops. Empirically, we show that TAPS improves terminal accuracy across structured reasoning tasks without retraining. By further incorporating the progress-fluctuation principle into training, TAPS yields additional accuracy gains with up to 1.56 times wall-clock speedup at matched baseline accuracy. The broad applicability of TAPS is supported by its effectiveness across diverse recurrent architectures and inference strategies. Together, these results establish update scale as complementary control axis of recurrent inference alongside architecture and depth.
Abstract（参考訳）: リカレント推論モデルはテスト時間計算のスケールアップに注目が集まっている。しかし、これらのモデルは、各学習した更新を固定単位スケールで適用し、更新が持続的に進行し、変動するときに過度に攻撃的になると保守的になり、追加のループの利点が制限される。軌道に沿ってスケールがどう変化するかを理解するために、まず、繰り返し更新スケールに対する終端損失の感度を解析する。時間平均は、持続的進行と中心的変動への正確な分解を許容することを示す。これに基づいて、反復更新間のバランスをトラッキングし、ステップサイズをオンラインで適応するTrajectory Adaptive Progress-Fluctuation Scheduler(TAPS)を導入する。理論的には、TAPSが期待する端末損失を減らし、より少ないリカレントループで目標品質に達する十分な条件を確立する。実験により,TAPSはリトレーニングを伴わずに,構造化推論タスクの終端精度を向上することを示した。さらに、進行変動原理をトレーニングに取り入れることで、TAPSは一致したベースライン精度で最大1.56倍のウォールクロックスピードアップで、さらなる精度のゲインを得る。 TAPSの幅広い適用性は、様々なリカレントアーキテクチャと推論戦略にまたがる有効性によって支えられている。これらの結果は、アーキテクチャと深さとともに、繰り返し推論の相補的な制御軸として更新スケールを確立する。

関連論文リスト

Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining [33.69413571438309]
終末変動に対する最近の進展のバランスをとるために, 頭頂部収縮平均化(TSA)を提案する。局所2次近似を用いて,TSAが望ましい終末学習率のスケジュールをどのように変更するかを解析する。その結果,Depth-22 NanoChatへの転送が得られ,スケジュールと推定器の組み合わせで検証精度が向上することを示した。
論文参考訳（メタデータ） (2026-09-21T23:19:17Z)
Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
論文参考訳（メタデータ） (2026-07-24T10:55:42Z)
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文参考訳（メタデータ） (2026-06-29T08:58:09Z)
Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文参考訳（メタデータ） (2026-06-21T12:14:11Z)
Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。 NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文参考訳（メタデータ） (2026-06-15T02:05:37Z)
Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling [2.6651200086513094]
従来の知恵では、大規模バッチトレーニングは強化学習(RL)と根本的に相容れない。本稿では,学習方針の安定性に応じて効果的なバッチサイズを調整する適応バッチスケーリング(ABS)を提案する。 ABSの中心は、連続した更新の間のアクションレベルシフトを測定することで、政策非定常性を定量化する、行動偏差である。
論文参考訳（メタデータ） (2026-05-20T13:46:22Z)
LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。 LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
論文参考訳（メタデータ） (2026-05-11T09:54:02Z)
Baguan-TS: A Sequence-Native In-Context Learning Model for Time Series Forecasting with Covariates [31.296823831987748]
Baguan-TSは、3Dトランスフォーマーによってインスタンス化されるICLと生系列表現学習を統合している。 i) キャリブレーションとトレーニング安定性, 特徴に依存しない目標空間検索に基づく局所キャリブレーション, および (ii) コンテクストオーバーフィッティング戦略によって緩和された出力過スムージングの2つの主要なハードルに対処する。
論文参考訳（メタデータ） (2026-03-18T07:24:19Z)
Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。スパース端末の報酬を密度の高いプロセス認識値推定に変換する。標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文参考訳（メタデータ） (2025-12-13T16:31:26Z)
Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-08T11:24:59Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。