論文の概要: Lexicographic Multi-Objective On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.02359v1
• Date: Thu, 01 Oct 2026 18:35:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.046087
• Title: Lexicographic Multi-Objective On-Policy Distillation
• Title（参考訳）: Lexicographic Multi-Objective On-Policy Distillation
• Abstract要約: そこで我々は,Lexicographic Multi-Objective On-Policy Distillation (LMOPD)を導入する。 学生のロールアウト毎に、LMOPDは、ゲートが欠損を検知する最初の目的のスペシャリストを選択し、その中心となる対数政治補正をローカルに投影する。 3つのベンチマークにおいて,30B-A3B混合熟練変圧器モデルを2と4の専門的設定で評価し,保持された専門的利得を測定した。
• 参考スコア（独自算出の注目度）: 2.3786178060333465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) usually optimizes answer correctness, yet useful language-model behavior also requires high-quality reasoning and concise responses. Existing multi-reward post-training methods typically scalarize rewards or combine specialists without explicitly protecting a reward priority order. This is problematic when trade-offs are asymmetric: conciseness, for example, should not improve at the cost of correctness. We introduce Lexicographic Multi-Objective On-Policy Distillation (LMOPD), a multi-teacher method for integrating reward-specialized policies under explicit priorities. For each student rollout, LMOPD selects the specialist for the first objective whose gate detects a deficiency, then locally projects its centered log-policy correction to remove components that oppose higher-priority specialists. We evaluate 30B-A3B mixture-of-experts transformer models in two- and four-expert settings on three math benchmarks, measuring retained specialist gains. With two experts, LMOPD's point estimates fully retain the accuracy and reasoning-quality gains while acquiring $46.9\%$ of the conciseness gain. With four experts, it retains $\approx90\%$ of both the accuracy gain and reasoning-correctness gain, compared to only $\approx57\%$ by the next best evaluated baseline. Matched four-expertablations show that lexicographic routing outperforms random routing and that projection further strengthens both top-priority capabilities. Across both scales, LMOPD preserves the highest-priority capabilities more effectively than the existing baselines we evaluate, demonstrating the value of explicit priorities for specialist integration.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習は、通常、回答の正しさを最適化するが、有用な言語モデルの振る舞いには、高品質な推論と簡潔な応答も必要である。 既存のマルチリワードポストトレーニング手法は、通常、報酬の優先順位を明示的に保護することなく、報酬をスキャラライズするか、スペシャリストを組み合わせる。 これはトレードオフが非対称である場合の問題であり、例えば簡潔さは正確さを犠牲にして改善すべきではない。 本稿では,Lexicographic Multi-Objective On-Policy Distillation (LMOPD)を紹介した。 学生のロールアウト毎に、LMOPDは、ゲートが欠損を検知する最初の目的のためにスペシャリストを選択し、その後、高度プライオリティの専門家に反対するコンポーネントを取り除くために、その中心となるログポリティ補正をローカルにプロジェクションする。 3つのベンチマークにおいて,30B-A3B混合熟練変圧器モデルを2と4の専門的設定で評価し,保持された専門的利得を測定した。 2人の専門家と共に、LMOPDのポイントは正確さと推論品質の上昇を完全に維持し、簡潔さの4,6.9\%の利益を得られると見積もっている。 4人の専門家では、精度向上と推論精度向上の両面で$\approx90\%を保ち、次に評価されたベースラインで$\approx57\%を保っている。 マッチングされた4つの実験により、レキソグラフィーのルーティングはランダムなルーティングよりも優れており、プロジェクションは両方のトッププライオリティ能力をさらに強化することが示された。 どちらのスケールでも、LMOPDは、評価する既存のベースラインよりも、より効果的な優先度機能を保持し、専門的な統合のための明確な優先順位の価値を示します。

関連論文リスト

• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
  自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。 SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
  論文  参考訳（メタデータ） (2025-09-05T20:39:43Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Why Ask One When You Can Ask $k$? Learning-to-Defer to the Top-$k$ Experts [6.792743621449621]
  我々は、Top-k$ Learning-to-Deferの最初のフレームワークを紹介します。 クエリを$k$のコスト効率の高いエンティティに割り当てる。 また、クエリ毎に最適な専門家数を学ぶ適応型変種であるTop-$k(x)$ Learning-to-Deferを提案する。
  論文  参考訳（メタデータ） (2025-04-17T14:50:40Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection [18.059899772411033]
  我々は、Deep Ensemblesと同様の方法で、専門的なオブジェクト検出器を"自然に組み合わせることによって、しばしば性能が劣化することを発見した。 この問題の主な原因は,専門家の予測が性能に合わないことである。 これを解決するため,エキスパートの混合を構築する際に,専門家の個人的パフォーマンスを反映した方法で,これらの予測を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-09-26T14:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。