論文の概要: DoubleFree:Exploiting Exploration History for Rollout-Free Multi-Task LLMs Training
- arxiv url: http://arxiv.org/abs/2610.34272v1
- Date: Sun, 25 Oct 2026 13:03:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.570358
- Title: DoubleFree:Exploiting Exploration History for Rollout-Free Multi-Task LLMs Training
- Title（参考訳）: Doublefree:Exploiting Exploration History for Rollout-free Multi-Task LLMs Training
- Abstract要約: マルチタスクポストトレーニングは、独立強化学習(RL)を通じてドメインスペシャリストを育成し、マルチテラーオンポリーズ蒸留(MOPD)を通じてそれらの能力を統合することができる。
既存のメソッドは主に前者を使用し、後者は未使用のままである。
そこで,DoubleFreeを紹介した。これは,これらの歴史的軌跡をロールアウトフリー統合のために再利用し,オンライン教師なしの学生教育のための教師監督を前処理する。
- 参考スコア（独自算出の注目度）: 26.639527239491944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task post-training can develop domain specialists through independent reinforcement learning (RL) and consolidate their capabilities through multi-teacher on-policy distillation (MOPD). However, standard MOPD generates on-policy student responses and keeps multiple teachers online throughout consolidation, introducing substantial system costs. We view this pipeline as domain-wise exploration followed by cross-domain exploitation. Domain RL produces not only the final specialists, but also the trajectories collected throughout their training. Existing methods primarily use the former while leaving the latter underutilized. We introduce DoubleFree, which reuses these historical trajectories for rollout-free consolidation and precomputes teacher supervision for online-teacher-free student training. To understand why this works, we analyze when updates from historical trajectories can approximate on-policy distillation updates and how combining trajectories across exploration stages can better support an evolving student. DoubleFree requires only minimal changes to existing post-training frameworks. Across math, code, and instruction following on Qwen3-4B, Qwen3-8B, and SmolLM3-3B, DoubleFree achieves $2.99$-$5.75\times$ consolidation speedups and reduces GPU-hours by $80.9$-$90.1\%$, while maintaining comparable multi-domain performance.
- Abstract（参考訳）: マルチタスクポストトレーニングは、独立した強化学習(RL)を通じてドメインスペシャリストを育成し、マルチテラーオン・ポリシー蒸留(MOPD)を通じてその能力を強化することができる。
しかし、標準的なMOPDは、政治上の学生の反応を発生させ、統合を通じて複数の教師をオンラインに維持し、システムコストを大幅に高める。
このパイプラインはドメインワイドな探索であり、その後にクロスドメインなエクスプロイトであると考えています。
ドメインRLは最終専門家だけでなく、トレーニングを通じて収集された軌道も生成します。
既存のメソッドは主に前者を使用し、後者は未使用のままである。
そこで,DoubleFreeを紹介した。これは,これらの歴史的軌跡をロールアウトフリー統合のために再利用し,オンライン教師なしの学生教育のための教師監督を前処理する。
歴史的軌跡からの更新が政治上の蒸留の更新に近似し、探索段階をまたいだ軌跡の組み合わせが、進化する学生をいかに支援するかを分析する。
DoubleFreeは既存のポストトレーニングフレームワークに最小限の変更しか必要としない。
Qwen3-4B、Qwen3-8B、SmolLM3-3Bで続く数学、コード、命令全体にわたって、DoubleFreeは2.99$-$5.75\times$コンソリデーションスピードアップを達成し、GPU時間を80.9$-$90.1\%に削減し、同等のマルチドメインパフォーマンスを維持している。
関連論文リスト
- TILDE: Teacher-in-the-Loop Distillation from Embodied Foundation Models [49.10347012315728]
TILDE (Teacher-In-Loop Distillation from EFMs) は、教師が実施した回復軌道から学ぶことで、学生が引き起こした状態でのオンライン蒸留を相乗化する。
AutoDAggerは、Human-in-the-loop法と比較して、リカバリトラジェクトリコレクションを2倍以上高速化する。
論文 参考訳（メタデータ） (2026-10-18T16:26:20Z) - Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training [15.647521419163985]
オンライン強化学習(RL)のトレーニングプロンプトは,現行の方針にどのような影響を及ぼすかという点で大きく異なる。
マルチモーダル大言語モデル(MLLM)の学習後,RLを通して動的にトレーニングプロンプト分布を適応する探索誘導型プロンプト足場構築フレームワークを提案する。
教師モデルを用いて、元のタスク意図を保存しつつ、その後のトレーニングをより有益なものにする、足場付き書き直しを生成する。
論文 参考訳（メタデータ） (2026-09-14T05:12:05Z) - D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳（メタデータ） (2026-08-25T17:57:11Z) - ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。
我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
論文 参考訳（メタデータ） (2026-08-11T13:27:56Z) - REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning [5.0321327064523595]
オフラインRLを用いたエキスパート・ジェネリスト蒸留のための再生リサイクル(REGEN: Replay-Recycling for Expert-to-Generalist Distillation)を提案する。
複数の教師モデルから蒸留する代わりに、REGENはリプレイメモリをリサイクルすることでジェネラリストを訓練する。
オンラインRLは、ワンオフ学習の段階ではなく、データ合成の過程に転換する可能性がある。
論文 参考訳（メタデータ） (2026-07-21T13:36:23Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training [29.71786876690702]
Multi-Teacher On-Policy Distillation (MOPD)は、複数のドメインRL教師の能力を組み合わせるためのポストトレーニングパラダイムである。
Qwen3-30B-A3Bでは、MOPDはMix-RL、Cascade RL、Off-Policy Finetune、Param-Mergeベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-29T14:51:28Z) - Adversarial Dual On-Policy Distillation from Expressive Teacher [53.63143943452487]
フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。
教師は学生のロールアウトに2つの補完的な信号を提供します。
アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
論文 参考訳（メタデータ） (2026-05-26T14:38:03Z) - Near-Future Policy Optimization [51.760544033045726]
検証可能な報酬(RLVR)による強化学習は、学習後の中核的なレシピとなっている。
textbfNear-Future textbfPolicy textbfOptimization (textbfNPO)を提案する。
論文 参考訳（メタデータ） (2026-04-22T16:20:41Z) - Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。
JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。
WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
論文 参考訳（メタデータ） (2026-01-26T14:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。