論文の概要: RM-OPD: On-Policy Distillation for Generative Reward Models

• arxiv url: http://arxiv.org/abs/2610.20174v2
• Date: Thu, 15 Oct 2026 04:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.965488
• Title: RM-OPD: On-Policy Distillation for Generative Reward Models
• Title（参考訳）: RM-OPD:生成的リワードモデルのためのオンポリシィ蒸留
• Abstract要約: RM-OPD(Reward Modeling via On-Policy Distillation)は、専門的な買収と能力統合を分離する2段階のフレームワークである。 まず、ドメイン特化教師モデルを単一ドメインGRPOファインタニングで培養し、各専門家が単独でパフォーマンス天井に到達できるようにする。 我々は,これらの教師を (i) ルート付きオンライン蒸留を通じて一つの学生モデルに統合し,学生が生成した批判に対するトークンレベルの厳密な監督を提供する。
• 参考スコア（独自算出の注目度）: 18.92402221454427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning on Mixed-domain preference data (Mix-RL) has become the mainstream approach for training general-purpose Generative Reward Models (GRMs). However, Mix-RL suffers from two critical bottlenecks: the reward sparsity induced by outcome rewards, and the cross-domain interference arising from jointly optimizing heterogeneous capabilities, which together give rise to imbalanced capability acquisition and pervasive reward hacking. Inspired by the success of On-Policy Distillation (OPD) in multi-domain capability integration, we introduce RM-OPD (Reward Modeling via On-Policy Distillation), a two-stage framework that separates specialist acquisition from capability integration. First, we cultivate domain-specialized teacher models via single-domain GRPO fine-tuning, allowing each expert to reach its performance ceiling in isolation; then we consolidate these teachers into one student model through (i) routed on-policy distillation, which provides dense signed token-level supervision on student-generated critiques; (ii) domain contribution reweighting, which reweights token guidance toward target domain shares, preventing specific domains from dominating optimization; and (iii) optional criteria context distillation, which conditions teachers on domain-specific evaluation criteria to sharpen token-level supervision. Across multiple RM benchmarks and two base models, RM-OPD consistently outperforms vanilla Mix-RL and other strong baselines, achieving overall superior performance and exhibiting an emergent "teacher-surpassing" effect. These results establish RM-OPD as a promising paradigm for building generalist GRMs.
• Abstract（参考訳）: 混合ドメイン嗜好データ(Mix-RL)の強化学習が汎用生成リワードモデル(GRM)の訓練の主流となっている。 しかし、Mix-RLは、成果報酬によって引き起こされる報酬の間隔と、不均一性を共同最適化することによって生じるクロスドメイン干渉の2つの重要なボトルネックに悩まされている。 マルチドメイン機能統合におけるOPD(On-Policy Distillation)の成功に触発されて,機能統合からスペシャリスト獲得を分離する2段階フレームワークであるRM-OPD(Reward Modeling via On-Policy Distillation)を紹介した。 まず、ドメイン特化教師モデルを単一ドメインGRPOファインタニングで育成し、各専門家が単独でパフォーマンス天井に到達できるようにし、これらの教師を1つの学生モデルに統合する。 一 学生が生み出す批判について、密集したトークンレベルの監督を提供するオンライン蒸留 二 対象のドメイン共有に対するトークンガイダンスを重み付けし、特定のドメインが支配的最適化を防ぎ、かつ、 三 ドメイン固有の評価基準を教師に条件付けし、トークンレベルの監督を強化するオプション基準文脈蒸留。 複数のRMベンチマークと2つのベースモデルにまたがって、RM-OPDはバニラMix-RLや他の強力なベースラインを一貫して上回り、全体的な優れた性能を達成し、突発的な「教師の通過」効果を示す。 これらの結果から, RM-OPD は一般の GRM 構築に有望なパラダイムとして確立された。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation [30.510566982907438]
  M-OPD(Multi-Teacher on-policy distillation)は、ドメイン特化強化学習の専門家を、密集したトークンレベルの報酬管理を通じて、単一のジェネラリストの学生に統一するための、有望なパラダイムとして登場した。 実際の成功にもかかわらず、マルチ教師機能統合を管理する最適化のダイナミクスはいまだに理解されていない。 トークン共有バランス、ギャップ対応動的予算配分、学生報酬更新を取り入れた原則的フレームワークであるOpen-MOPDを紹介する。
  論文  参考訳（メタデータ） (2026-08-19T16:50:39Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Flow-OPD: On-Policy Distillation for Flow Matching Models [42.290892456464896]
  Flow-OPDは、オンライン蒸留をFlow Matchingモデルに統合するポストトレーニングフレームワークである。 これはGenEvalのスコアを63から92に引き上げ、OCRの精度を59から94に引き上げ、バニラGRPOよりも10点程度向上した。 これらの結果は、汎用的なテキスト-画像モデルを構築するためのスケーラブルなアライメントパラダイムとして、Flow-OPDを確立する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:15Z)
• Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
  LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。 具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。 我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
  論文  参考訳（メタデータ） (2026-05-05T12:15:21Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• RM-Distiller: Exploiting Generative LLM for Reward Model Distillation [47.016779894794304]
  リワードモデル(RM)は、大きな言語モデル(LLM)と人間の嗜好の整合において重要な役割を果たす。 既存のアプローチは主に教師モデルを単純なバイナリアノテータとして扱い、RM蒸留の豊富な知識と能力を完全に活用することができなかった。 教師LLMの多面的能力を体系的に活用するフレームワークであるRM-Distillerを提案する。
  論文  参考訳（メタデータ） (2026-01-20T14:53:32Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
  自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。 本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
  論文  参考訳（メタデータ） (2025-06-26T18:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。