論文の概要: Contrastive Reinforced Policy Optimization via Privileged Self-Distillation

• arxiv url: http://arxiv.org/abs/2607.28026v1
• Date: Thu, 30 Jul 2026 11:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.521007
• Title: Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
• Title（参考訳）: 原始自己蒸留によるコントラスト強化政策最適化
• Abstract要約: 対照的な学習の観点から,エージェント・オン・ポリシィ・セルフ・蒸留(OPSD)を再構成するCRPO(Contrastive Reinforced Policy Optimization)を導入する。 CRPOは、既存の強化学習と自己蒸留ベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 23.840537431318296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in post-training Large Language Models (LLMs) increasingly rely on Reinforcement Learning with Verifiable Rewards (RLVR) or On-Policy Self-Distillation (OPSD). While OPSD provides dense, logit-level supervision, it inherently suffers from exposure bias due to the privileged information of the self-teacher. In multi-turn agentic settings, this leads to reasoning route convergence and the loss of clear optimization directions. To tackle these challenges, we introduce Contrastive Reinforced Policy Optimization (CRPO), which reformulates agentic OPSD from a contrastive learning perspective. By leveraging predictive entropy to distinguish between positive positions (reflective exploration) and negative positions (exposure bias), CRPO conducts group-wise contrast to preserve reliable, fine-grained optimization signals. Extensive evaluations across 13 challenging reasoning and deep-search benchmarks demonstrate that CRPO consistently outperforms existing reinforcement learning and self-distillation baselines, significantly enhancing training stability and generalization in long-horizon interactions.
• Abstract（参考訳）: 近年の大規模言語モデル (LLMs) の進歩は, 検証リワードによる強化学習 (RLVR) やOPSD (On-Policy Self-Distillation) にますます依存している。 OPSDは密集した対物レベルの監視を提供するが、本質的には自己教育者の特権的な情報のために露出バイアスに悩まされる。 マルチターンエージェント設定では、経路収束と明確な最適化方向の喪失が引き起こされる。 これらの課題に対処するために、エージェントOPSDを対照的な学習の観点から再構成するContrastive Reinforced Policy Optimization (CRPO)を導入する。 予測エントロピーを利用して、正の位置(反射探索)と負の位置(露光バイアス)を区別することで、CRPOはグループ的にコントラストを行い、信頼性が高くきめ細かい最適化信号を保持する。 13の挑戦的推論とDeep-searchベンチマークによる広範囲な評価は、CRPOが既存の強化学習と自己蒸留ベースラインを一貫して上回り、長い水平相互作用におけるトレーニング安定性と一般化を著しく向上していることを示している。

関連論文リスト

• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training [25.087853601817688]
  強化学習(英語: Reinforcement Learning, RL)は、長期的タスクにおいて大規模言語モデル(LLM)エージェントを訓練するための主要なパラダイムである。 本研究では,与えられた状態下でのエージェントの平均行動に対する信頼性逸脱を測定する正規化エントロピーを提案する。 階層型グループベースRLフレームワークであるSTAPO(Selective Trajectory-Aware Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-07-06T11:50:06Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
  大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。 内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:11Z)
• KEPO: Knowledge-Enhanced Preference Optimization for Reinforcement Learning with Reasoning [24.072603982041798]
  強化学習は、大規模言語や視覚言語モデルにおいて、明示的な推論行動を引き起こすための有望なパラダイムとして登場した。 しかしながら、推論指向のRLポストトレーニングは、低軌道レベルの報酬のため、基本的には困難である。 近年のオンライン蒸留法では,教師の集中管理によって最適化の安定化が図られている。
  論文  参考訳（メタデータ） (2026-01-30T23:28:37Z)
• Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
  本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。 最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。 次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。 トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
  論文  参考訳（メタデータ） (2026-01-15T11:40:57Z)
• No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning [21.237273221334963]
  ECHOは、同期された共進化ループを通じてポリシーと批判を共同で最適化するフレームワークである。 ECHOは、より安定したトレーニングと、オープンワールド環境全体にわたる長期タスクの成功をもたらす。
  論文  参考訳（メタデータ） (2026-01-11T07:29:08Z)
• Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection [0.8287206589886881]
  我々は、ヒント誘導反射をDPOパラダイムに組み込んだ新しいフレームワークであるReflective Preference Optimization (RPO)を紹介する。 RPOは外部モデルを用いて幻覚源を特定し、簡潔な反射ヒントを生成する。 経験的に、RPOはトレーニングサンプルやイテレーションを少なくし、幻覚率を大幅に低減し、マルチモーダルベンチマークで最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-12-15T11:55:55Z)
• Improving Domain Generalization in Self-supervised Monocular Depth Estimation via Stabilized Adversarial Training [61.35809887986553]
  我々は、SCAT(stabilized Conflict-Optimization Adversarial Training)という、汎用的な敵訓練フレームワークを提案する。 SCATは、安定性と一般化のバランスを達成するために、敵データ拡張を自己教師付きMDE手法に統合する。 5つのベンチマーク実験により、SCATは最先端の性能を達成でき、既存の自己監督型MDE法の一般化能力を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2024-11-04T15:06:57Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。