論文の概要: ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
- arxiv url: http://arxiv.org/abs/2609.35954v1
- Date: Mon, 28 Sep 2026 17:57:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.909659
- Title: ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
- Title（参考訳）: ROSS: 選択的なスーパービジョンによる自己生成ロールアウトからのリラーニング
- Abstract要約: 大規模言語モデルは、強化学習とオンライン蒸留を通じて自己生成ロールアウトを生成する。
過去のロールアウトは、後続のポリシーと互換性を持ちながら、ポリシーがもはや確実に表現されない行動を保存することができる。
ROSSは,選択したモデル生成継続にのみロスを適用しつつ,履歴の完全な軌跡を文脈として保存する。
- 参考スコア（独自算出の注目度）: 33.29824529535812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model post-training generates self-generated rollouts through reinforcement learning and on-policy distillation, yet this experience is often treated as stale once the policy advances. Historical rollouts can remain compatible with a later policy while preserving behaviors that the policy no longer expresses reliably. However, they may also contain mistakes, abandoned attempts, and redundant actions that should not be imitated, motivating finer-grained selective supervision. We introduce ROSS (Relearning from Self-Generated Rollouts through Selective Supervision), which preserves the full historical trajectory as context while applying loss only to selected model-generated continuations. Across domain-specific reinforcement learning, multi-teacher on-policy distillation, and agentic reinforcement learning, ROSS consistently improves upstream checkpoints and outperforms baselines across mathematics, code generation, instruction following, and software engineering. On Qwen3.6-35B-A3B, ROSS improves the six-benchmark MOPD average from 58.40% to 62.20% and SWE-bench Verified from 64.20% to 68.40%. These results show that self-rollout training leaves behind reusable behavioral experience that can yield further gains through offline supervised fine-tuning (SFT), without additional policy rollouts.
- Abstract（参考訳）: 大規模言語モデルのポストトレーニングは、強化学習とオンライン蒸留を通じて自己生成ロールアウトを生成するが、政策が進むと、この経験は古いものとして扱われることが多い。
過去のロールアウトは、後続のポリシーと互換性を持ちながら、ポリシーがもはや確実に表現されない行動を保存することができる。
しかし、それらはまた、ミス、放棄された試み、模倣すべきでない冗長な行動を含み、よりきめ細かい監視を動機付けている。
ROSS (Relearning from Self-Generated Rollouts through Selective Supervision) を導入し、選択されたモデル生成継続にのみ損失を適用しながら、履歴の完全な軌跡を文脈として保存する。
ドメイン固有の強化学習、複数教師によるオンライン蒸留、エージェントによる強化学習など、ROSは一貫して上流のチェックポイントを改善し、数学、コード生成、命令追従、ソフトウェア工学のベースラインを上回っている。
Qwen3.6-35B-A3Bでは、ROSは6ベンチマークMOPD平均を58.40%から62.20%に、SWEベンチは64.20%から68.40%に改善した。
これらの結果から, 自己ロールアウトトレーニングは, 追加の方針のロールアウトを伴わずに, オフライン教師付き微調整(SFT)によってさらに利益を得ることのできる, 再利用可能な行動経験の欠如を示唆している。
関連論文リスト
- Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models [18.908591776248482]
オンラインの自己蒸留は、特権情報を持つ自己教育者が、モデル自身の軌道に密集したトークンレベルの監督を与えることによって、大きな言語モデルを改善する。
既存の方法は通常、現在の、初期またはゆっくりと平均化されたポリシー状態から自己教育者を構築する。
モデル自体の最適化の進捗を、より強力な自己学習者へとリサイクルできるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-29T09:35:50Z) - REVO: Rollout-Efficient Off-Policy Distillation via Variance-Guided Reuse [16.13383921658664]
オンライン蒸留(OPD)は、学生が生み出す軌跡の密集したトークンレベルの教師監督を用いて言語モデルを訓練する。
複数段階の学習者更新のために各学生のロールアウトを再利用することにより、ロールアウト効率を向上させるオフ政治蒸留フレームワークであるREVOを紹介する。
論文 参考訳（メタデータ） (2026-09-28T17:52:45Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning [21.808015281498076]
批判のないグループベース強化学習は、大規模言語モデルの訓練後においてスケーラブルなアプローチとなっている。
最近の研究は、ロールアウト生成を適応的な決定として扱うようになったが、2つの重要な制限が残っている。
本稿では,各介入が生み出す改善に基づき,ロールアウトの生成方法を学ぶ訓練時フレームワークであるRecoverability-Aware Learning (RAIL)を提案する。
論文 参考訳（メタデータ） (2026-08-05T17:22:02Z) - Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。
GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
論文 参考訳（メタデータ） (2026-07-30T11:49:46Z) - RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。
最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。
我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
論文 参考訳（メタデータ） (2026-07-05T15:46:11Z) - Mastermind: Strategy-grounded Learning for Repository-Scale Vulnerability Reproduction [62.42945715963878]
リポジトリレベルの脆弱性の再現は、要求の多いソフトウェアエンジニアリング(SE)タスクである。
最近のLLMエージェントは、アプローチが正しい場合、しばしばこれらのステップを実行するが、間違った戦略を選択することで失敗する。
本論では, アクションの完全な軌跡ではなく, 戦略がSEエージェントの適切な学習単位であることを論じる。
論文 参考訳（メタデータ） (2026-07-02T06:27:27Z) - Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training [63.34044358216334]
ACTOR-CURATORは、大規模言語モデルの強化学習のためのスケーラブルで完全に自動化されたカリキュラム学習フレームワークである。
経験的に、ACTOR-CURATORは一貫して一様サンプリングと強力なカリキュラムベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-24T04:19:48Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳（メタデータ） (2021-10-12T17:05:05Z) - Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。
SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
論文 参考訳（メタデータ） (2021-06-10T06:29:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。