論文の概要: ScaleRLT: Exact Log-Probabilities and Fast Deferred Rollouts for Reinforcement Learning on Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.34427v1
• Date: Sun, 25 Oct 2026 16:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.612739
• Title: ScaleRLT: Exact Log-Probabilities and Fast Deferred Rollouts for Reinforcement Learning on Looped Transformers
• Title（参考訳）: ScaleRLT:ループ変換器の強化学習のための厳格なログ確率と高速デファードロールアウト
• Abstract要約: Ouroのようなループ言語モデルはトークン毎に1ブロックのレイヤを数回再利用する。 ロールアウトエンジンは、いくつかの応答位置の深いループをバッチして、深い読み込みが予定されている場合にのみ実行することができる。 この遅延スケジュールは高速であるが、オンラインRLアルゴリズムの学習者は、サンプリングされたトークンのログ確率を密度の高いパスで再計算する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models such as Ouro reuse one block of layers several times per token. A rollout engine can batch the deeper loops of several response positions and run them only when a deep readout is due. This deferred schedule is fast, but the learner of an on-policy RL algorithm recomputes the sampled tokens' log-probabilities with a dense pass, and the two computations differ in floating point: in FP32 at 4096 tokens about 18% of the sampled tokens miss a $10^{-5}$ same-weight gate, and with bf16 weights nearly every token does. We use a hybrid learner log-probability, $\ell=\ell_{\mathrm{dense}}+\mathrm{sg}(\ell_{\mathrm{sched}}-\ell_{\mathrm{dense}})$, where $\mathrm{sg}$ denotes stop-gradient. Its value is a no-grad replay through the rollout's own schedule, and its gradient is the dense learner's. The replay reproduces the rollout bit for bit in all 167 FP32 and 28 bf16 real-weight cells we ran on three platforms, including rollouts whose batch shrinks at stop tokens, and the gradient has the same FP32 error as other dense implementations in all 102 pre-registered comparisons from 96 to 4096 tokens; the full GRPO loss of a training step matches a float64 reference to $3.1\times10^{-4}$. On one GPU, deferral raises rollout throughput by $1.47$ to $1.56\times$, and by $1.18$ to $1.54\times$ once every step runs from CUDA graphs, bit for bit. In a two-node GRPO loop, one-wave KV admission and CUDA graphs shorten an update by $2.71\times$ with the gate bitwise at every update, and four nodes keep the update time within 2% at the same per-GPU load. In 100-update runs held-out GSM8K accuracy rose from 23% to 82% with the mixed-depth readout that deferral relies on and from 34% to 90% with the native readout, which reached a higher accuracy in less time. For looped models beyond one node we analyse a ring mapping of layers to GPUs and measure its communication paths.
• Abstract（参考訳）: Ouroのようなループ言語モデルはトークン毎に1ブロックのレイヤを数回再利用する。 ロールアウトエンジンは、いくつかの応答位置の深いループをバッチして、深い読み込みが予定されている場合にのみ実行することができる。 この遅延スケジュールは高速であるが、オンラインRLアルゴリズムの学習者は、サンプリングされたトークンのログ確率を密度の高いパスで再計算し、2つの計算は浮動小数点で異なる。 ハイブリッド学習者の対数確率、$\ell=\ell_{\mathrm{dense}}+\mathrm{sg}(\ell_{\mathrm{sched}}-\ell_{\mathrm{dense}})$を使用します。 その値はロールアウトのスケジュールを通したゼログレードのリプレイであり、勾配は密集した学習者のリプレイである。 リプレイは、3つのプラットフォーム上で実行した167 FP32と28 bf16のリアルタイムセルでビットのロールアウトビットを再現します。その中には、停止トークンでバッチが縮小したロールアウトや、96から4096のトークンから102の事前登録済みの比較で、他の密集した実装と同じFP32エラーがあります。 1つのGPUでは、Deferralがロールアウトスループットを1.47ドルから1.56ドルに引き上げ、ステップ毎にCUDAグラフからビットで実行すると1.18ドルから1.54ドルに値下げする。 2ノードのGRPOループでは、ワンウェーブのKV入力とCUDAグラフが更新を2.71\times$で短縮し、アップデート毎にゲートをビットワイズし、4ノードは同じGPU負荷で2%以内の更新時間を保っている。 100回の更新でGSM8Kの精度は23%から82%に向上し、deferralが依存する混合深度読み出しは34%から90%に向上した。 1つのノードを超えたループモデルに対しては、レイヤのGPUへのリングマッピングを分析し、通信経路を測定します。

関連論文リスト

• Recurrent Looped Transformer [55.3126277171095]
  Recurrent Looped Transformerはレイヤを並列因果エンコーダとリカレントデコーダに分割する。 2つのRTTは各シードで100%精度でパリティを256ビットに分割し、トランスフォーマーは偶然に残る。 トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTTは最終状態の精度が97%に達し、Transformerは1%以下になった。
  論文  参考訳（メタデータ） (2026-10-06T01:29:46Z)
• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers [0.0]
  出力が安定すると、各トークンが4.94平均ループで均一な深さ8品質に達すると、各トークンを停止する訓練自由規則を示す。 同じモデルから抽出された収束ラベルに基づいて訓練された線形ルータは、ほぼ完全な深さを必要とし、還元しない。 実際の高速化ではなく,3点壁面ブラケットを用いたFLOPプロキシとしての平均深度を報告する。
  論文  参考訳（メタデータ） (2026-07-15T23:38:44Z)
• DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts [32.57334288518084]
  GRPOやDAPOのような現代のRLポストトレーニングメソッドは、共有プロンプトからサンプリングされた$R$トークンの$N$レスポンスシーケンスでトレーニングする。 標準FlashAttentionは、すべての$P$プロンプトトークンを前方と後方の両方で$N回複製する。 トレーニング中に共有プロンプトレプリケーションを排除した最初のFlashカーネルである textDualAttention を提案する。
  論文  参考訳（メタデータ） (2026-05-14T21:11:32Z)
• Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
  大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。 我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。 各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。 微調整、勾配計算、追加のフォワードパスは不要である。
  論文  参考訳（メタデータ） (2026-04-20T17:53:33Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• TIDE: Token-Informed Depth Execution for Per-Token Early Exit in LLM Inference [0.0]
  TIDEは、定期的なチェックポイント層とルータで学習した小さなレイヤを推論時にアタッチするポストトレーニングシステムであり、トークン毎に隠れた状態が収束した最初期のレイヤを選択する。 DeepSeek R1 Distill 8BのNVIDIA A100では、TIDEは100%プリフィルの終了率(11層でトークンの5%、31層で残るもの)を達成し、プリフィルのレイテンシを7.2%削減し、シングルバッチスループットを6.6%向上させた。
  論文  参考訳（メタデータ） (2026-03-22T18:58:07Z)
• FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
  FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。 Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
  論文  参考訳（メタデータ） (2025-11-17T17:57:18Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
  本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。 我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。 技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
  論文  参考訳（メタデータ） (2022-10-15T09:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。