論文の概要: OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2608.24310v1
• Date: Tue, 25 Aug 2026 09:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.924424
• Title: OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning
• Title（参考訳）: OPDSearch+:検索強化推論のためのRL精製によるオンライン蒸留
• Abstract要約: 教員のオンライン蒸留は、有望な方向性を提供するが、2つの問題に悩まされている。 タスク固有の訓練教師は、タスク固有の微調整を伴わずに、オフ・ザ・シェルフの教師とPDを直接適用しながら、相当な訓練コストを発生させる。 我々は,教師の微調整を必要としない最初の蒸留パラダイムであるPDSearch+を提案する。
• 参考スコア（独自算出の注目度）: 10.695443572995345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search-augmented reasoning remains difficult for small language models. On-policy distillation (OPD) from trained teachers offers a promising direction, but suffers from two issues: (1) high-quality multi-turn search trajectories depend on dynamic retriever responses, making SFT data prohibitively expensive to collect at scale; (2) task-specifically trained teachers incur substantial training cost, while directly applying OPD with an off-the-shelf teacher without task-specific fine-tuning constrains the student to the teacher's performance ceiling and suffers from severe training instability. We propose OPDSearch+, the first distillation paradigm that requires no teacher fine-tuning for search-augmented reasoning. We investigate the role of a frozen off-the-shelf instruct model as the teacher in on-policy distillation, and reveal a key insight: the teacher reshapes the student's policy distribution so that subsequent RL converges to a superior solution that RL alone cannot reach. In stage one, the student interacts with a live search engine and is distilled via a per-position forward KL objective, transferring reasoning decomposition and evidence integration skills without any task-specific teacher training. In stage two, RL refines the distilled student from a richer behavioral foundation, achieving performance that RL alone cannot reach from scratch. Across seven QA benchmarks, OPDSearch+ with a 3B model consistently outperforms all prior 3B RL baselines, achieving gains of 13.1% on HotpotQA and 8.5% on 2WikiMultihopQA.
• Abstract（参考訳）: 検索強化推論は、小さな言語モデルでは依然として困難である。 教師のオンライン蒸留(OPD)は有望な方向性を呈するが,(1)高質な多ターン探索トラジェクトリは動的検索者反応に依存し,SFTデータを大規模に収集する費用が禁じられること,(2)タスク特化訓練を受けた教師がかなりの訓練コストを負担すること,(2)タスク特化微調整を伴わないオフ・ザ・シェルフ教師にOPDを直接適用することで,教師のパフォーマンス天井に制約を課し,厳しいトレーニング不安定を被る,という2つの課題に悩まされている。 我々は,教師の微調整を必要としない最初の蒸留パラダイムであるPDSearch+を提案する。 本研究では, 教師が学生の政策分布を再確認し, 後続のRLがRL単独では到達できない優れた解に収束するようにした。 ステージ1では、生の検索エンジンと対話し、各ポジションごとのフォワードKL目標を介して蒸留し、タスク固有の教師訓練を必要とせず、推論分解とエビデンス統合スキルを伝達する。 第二段階では、RLは蒸留した学生をより豊かな行動基盤から精製し、RL単独ではゼロから到達できない性能を達成する。 7つのQAベンチマークで、3Bモデルを持つPDSearch+は、以前の3B RLベースラインを一貫して上回り、HotpotQAでは13.1%、2WikiMultihopQAでは8.5%の上昇を記録した。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Distilled Reinforcement Learning for LLM Post-training [8.435213882597546]
  大規模言語モデル(LLM)のポストトレーニングは推論、適応、アライメントの改善に不可欠である。 既存の方法は、強化学習(RL)とオンライン蒸留(OPD)の2つのパラダイムに主に従っている。 本稿では,教師の指導をRL目標に統合し,詳細な指導を行う蒸留RL(Distilled Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2026-07-19T13:32:54Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation [0.0]
  本稿では,崖のプロンプトをターゲットとした自己蒸留による標準RLを増強するハイブリッド蒸留政策最適化(HDPO)を提案する。 教師と生徒は同じ重み(入力でのみ異なる)を共有しているため、実現可能性のギャップは証明可能な境界である。 Qwen2.5-Math-1.5B-InstructによるOpenMath Instruct-2の実験は、HDPOが常にカバレッジメトリクスを改善していることを示している。
  論文  参考訳（メタデータ） (2026-03-25T02:59:36Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Reinforcement Learning Teachers of Test Time Scaling [21.551446057221185]
  LMを推論する主要なユースケースは、新しい学生を蒸留し、将来のRLイテレーションを冷静に開始する教師として機能することである。 我々は,RLの探究課題を回避するために,RLT(Reinforcement-Learned Teachers)の新たなクラスを育成する枠組みを導入する。 RLTは、各問題に対する質問と解決の両方で促され、生徒に合った詳細な説明で単に「接続する」ことを任務とする。
  論文  参考訳（メタデータ） (2025-06-10T02:53:24Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。