論文の概要: Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.25973v1
• Date: Mon, 19 Oct 2026 08:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:16:36.822899
• Title: Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization
• Title（参考訳）: 自己蒸留政策最適化のための正確性依存型非対称ターゲット分布
• Abstract要約: 自己蒸留ポリシーの最適化は、フィードバック条件の自己学習者によるLCM後トレーニングの高密度トークンレベル管理を提供する。 本研究では,学生と自己学習者の分布を混合して正当性に依存した目標を構築する,自己蒸留による非対称政策最適化(APSD)を提案する。
• 参考スコア（独自算出の注目度）: 12.210163599342161
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-distillation policy optimization provides dense token-level supervision for LLM post-training through feedback-conditioned self-teachers. However, directly matching the self-teacher can disrupt successful behaviors on correct rollouts while providing insufficient correction on incorrect ones. We propose Asymmetric Policy Optimization via Self-Distillation (APSD), which constructs correctness-dependent targets by mixing student and self-teacher distributions: interpolation preserves successful behaviors on correct rollouts, while extrapolation beyond the self-teacher strengthens correction on incorrect ones. We analyze APSD through divergence decomposition, reverse-KL barycentric geometry, and gradient analysis, highlighting the importance of gradient flow through student-dependent targets. Experiments under reinforcement learning with verifiable rewards and rich feedback show that APSD achieves strong overall performance against reinforcement-learning and self-distillation baselines and matches SDPO performance with 2.6x fewer training steps on average across Qwen3 model scales.
• Abstract（参考訳）: 自己蒸留ポリシーの最適化は、フィードバック条件の自己学習者によるLCM後トレーニングの高密度トークンレベル管理を提供する。 しかし, 自己学習者を直接マッチングすることで, 正しいロールアウトの動作を妨害し, 不正なロールアウトの修正が不十分である。 本研究では, 学生と自己教師の分布を混合することにより, 正当性に依存した目標を構成する非対称的政策最適化(APSD)を提案し, 補間は正しいロールアウトの動作を保ちつつ, 自己教師以外の補間は誤りの修正を強化する。 我々は,分散分解,逆KL偏心幾何,勾配解析を通じてAPSDを解析し,学生依存の目標を通した勾配流の重要性を強調した。 検証可能な報酬と豊富なフィードバックによる強化学習による実験では、APSDは強化学習と自己蒸留ベースラインに対して高い総合的なパフォーマンスを達成し、Qwen3モデルスケールにおける平均2.6倍のトレーニングステップでSDPOのパフォーマンスと一致している。

関連論文リスト

• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
  FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。 オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。 分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
  論文  参考訳（メタデータ） (2026-09-03T00:47:11Z)
• I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization [5.536267204193318]
  グループ相対ポリシー最適化は、ロールアウトグループ内の報酬差から学習するが、サンプリングされた応答が正しくない場合に有用な相対信号を受け取らない。 原始的な自己蒸留は、密集したトークンの監督によってこのギャップを埋めることができますが、トレーニングを通じて適用することで、異なる障害モードを生成します。 I-SDPO (Instance-Level Adaptive Self-Distillation Policy Optimization) を導入する。
  論文  参考訳（メタデータ） (2026-08-13T08:37:24Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting [17.504616835765617]
  両経路適応型学習フレームワークを提案する。 SCOPEは、Avg@32で11.42%、Pass@32で7.30%の平均相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-04-12T15:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。