論文の概要: Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

• arxiv url: http://arxiv.org/abs/2610.10623v1
• Date: Wed, 07 Oct 2026 08:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.573856
• Title: Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models
• Title（参考訳）: リカレント自己改善:ループ言語モデルに対する動的クロスループオンポリケーション
• Abstract要約: そこで我々は,LoopLM内の再帰的な計算を自身の監督源として利用する,クロスループオンライン蒸留フレームワークであるLoopOPDを紹介した。 LoopOPDは、学生が生成したロールアウトにおける中間ループ学生の計算特権教師として、凍結端末ループポリシーを使用し、外部教師や特権情報なしで、厳密な監督を提供する。 我々は, 蒸留がループ深度を越えて伝播し, 1回の更新でループ深度を同時に改善する十分な条件を導出する方法を特徴付ける。
• 参考スコア（独自算出の注目度）: 21.765515937856787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Language Models (LoopLMs) offer a parameter efficient approach to scaling reasoning by reusing shared parameters across recurrent computation steps. Despite their promise, effective post-training of LoopLMs remains challenging. Existing approaches either provide reward based supervision that is sparse or costly to extend across loops, or rely on external teachers or privileged information, leading to limited teacher availability or teacher-student context mismatch. To address these limitations, we introduce LoopOPD, a cross-loop on-policy distillation framework that uses additional recurrent computation within a LoopLM as its own source of supervision. LoopOPD uses a frozen terminal loop policy as a compute privileged teacher for an intermediate loop student on student generated rollouts, providing dense supervision without an external teacher or privileged information. We further propose Dynamic LoopOPD (D-LoopOPD), which continually refreshes the terminal loop teacher as the shared model parameters are updated, enabling recurrent self-improvement. We characterize how distillation updates propagate across loop depths and derive sufficient conditions under which a single update yields simultaneous local improvement at both loop depths. Experiments on Ouro-Thinking models show that LoopOPD improves mathematical reasoning, while D-LoopOPD yields further gains through dynamic teacher updates. Despite being trained only on mathematical data, the resulting models also improve on general reasoning and code generation benchmarks, demonstrating that recurrent computation can serve as an effective source of supervision for LoopLMs. Our code and model checkpoints will be released upon acceptance.
• Abstract（参考訳）: Looped Language Models (LoopLMs) は、繰り返し計算ステップで共有パラメータを再利用することで、推論をスケールするためのパラメータ効率のよいアプローチを提供する。 約束にもかかわらず、LoopLMsの効果的なポストトレーニングは依然として困難である。 既存のアプローチは報酬ベースの監視を提供するが、ループをまたいで拡張する費用が低いか、あるいは外部の教師や特権情報に依存しているため、教師の可用性や教師の学生のコンテキストミスマッチが制限される。 この制限に対処するために,ループ型オンライン蒸留フレームワークであるLoopOPDを導入する。 LoopOPDは、学生が生成したロールアウトにおける中間ループ学生の計算特権教師として、凍結端末ループポリシーを使用し、外部教師や特権情報なしで、厳密な監督を提供する。 さらに、共用モデルパラメータが更新されるときに端末ループ教師を継続的にリフレッシュし、繰り返し自己改善を可能にする動的ループPD(D-LoopOPD)を提案する。 我々は, 蒸留がループ深度を越えて伝播し, 1回の更新でループ深度を同時に改善する十分な条件を導出する方法を特徴付ける。 Ouro-Thinkingモデルの実験では、LoopOPDは数学的推論を改善し、D-LoopOPDは動的教師更新によってさらに向上することが示された。 数学的データのみに基づいてトレーニングされているにもかかわらず、結果として得られたモデルは一般的な推論とコード生成ベンチマークを改善し、繰り返し計算がLoopLMの効果的な監視源となることを実証する。 私たちのコードとモデルチェックポイントは受け入れ次第リリースされます。

関連論文リスト

• Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning [46.34681410689956]
  ループ推論モデルは、パラメータの共有セットを繰り返し適用し、モデルのサイズを増大させることなく、より多くの計算を可能にします。 近年の言語モデリングおよび推論におけるループ変換器の成功により,動的ループ化がシーケンシャルな意思決定に有用かどうかを考察した。 共有計算ブロックを用いて固定点に対する潜在表現を洗練するトランスフォーマーベースのポリシーであるLooped Actorを導入する。
  論文  参考訳（メタデータ） (2026-09-29T12:57:04Z)
• Loop Dropout: Regularizing Shared Updates in Looped Language Models [18.32401643802363]
  ループ言語モデルは、同じ変圧器ブロックを繰り返し適用することで、パラメータカウントから計算深度を分離する。 我々の経験的分析によると、標準低ランク適応(LoRA)における遅延ループバイアスは顕著である。 本稿では,更新強度を維持するために,逆サバイバル再スケーリングによるアダプタアプリケーションのマスキングを低減するループドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-28T03:24:28Z)
• RISE: Recursive Improvement via Self-Extrapolating Policy Distillation [47.92477203057629]
  textbfRISE (textbfRecursive textbfImprovement via textbfSelf-textbfExtrapolating Policy Distillation)を提案する。 RISEは、モデル自身のRLVRトレーニング軌道から直接合成教師を構築する。 数学的推論、マルチドメインSTEM、コード生成、マルチターンエージェントタスクにまたがる実験により、RISEはRLVRのみのトレーニングや政治上の自己蒸留よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-09-04T15:47:51Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models [35.78769938627291]
  我々は、標準の事前学習 LLM をループ化アーキテクチャに変換する後トレーニングフレームワークである textbfLooped Depth Up-Scaling (LoopUS) を導入する。 LoopUS は事前訓練された LLM をエンコーダ、ループ推論ブロック、デコーダに再キャストする。 これらのメカニズムは、標準的な非ループモデルからループ形式に変換し、計算ボトルネックと表現崩壊の両方に対して安定化する。
  論文  参考訳（メタデータ） (2026-05-10T11:05:20Z)
• Countering Reward Over-optimization in LLM with Demonstration-Guided Reinforcement Learning [49.87923965553233]
  強化学習は、大きな言語モデルで過度に最適化される。 報酬目的を再検討するために、Reward from Demonstration (RCfD)を導入する。 RCfD は ROO を緩和しながら, 注意深く調整されたベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-04-30T09:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。