論文の概要: CataOPD: Catalytic On-Policy Distillation for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2609.29518v1
• Date: Tue, 25 Aug 2026 04:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.05409
• Title: CataOPD: Catalytic On-Policy Distillation for Large Language Model Reasoning
• Title（参考訳）: CataOPD:大規模言語モデル推論のための触媒オンポリシィ蒸留
• Abstract要約: 強化学習(RL)とオンライン蒸留(OPD)は,大規模言語モデル推論を改善するための代表的なパラダイムである。 そこで我々は, 教師が目標ではなく触媒として機能し, 生徒が生成した軌道を触媒フリーの方針に内在させながら, 到達性を高めたCataOPDを提案する。
• 参考スコア（独自算出の注目度）: 43.95850261858492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) and on-policy distillation (OPD) are two representative paradigms for improving large language model reasoning. However, when no correct trajectory is sampled, RL lacks a positive correctness signal, while OPD remains constrained by the reasoning trajectories reachable under the student's on-policy distribution. Therefore, we propose CataOPD, where the teacher acts as a catalyst rather than a target, expanding reachability while internalizing verified student-produced trajectories into a catalyst-free policy. Self-Rescue Routing uses empirically all-failed groups as routing signals rather than teacher-intervention triggers, first seeking correct trajectories through additional on-policy self-sampling. For problems unresolved after self-rescue, Catalytic-Guided Self-Resolution uses catalytic guidance to elicit a verified student-produced trajectory in the guided student distribution. Barrier-Weighted Internalization weights tokens by guided-to-unguided log-probability gaps, focusing updates on decisive tokens difficult without guidance. Experimental results show that CataOPD outperforms current baselines, extends independent student reasoning to still-unrecovered problems, and improves out-of-distribution generalization under catalyst-free inference. Our project is available at https://github.com/QwenQKing/CataOPD.
• Abstract（参考訳）: 強化学習(RL)とオンライン蒸留(OPD)は,大規模言語モデル推論を改善するための代表的なパラダイムである。 しかし、正しい軌道がサンプリングされない場合、RLは正の正の正のシグナルを欠くが、OPDは学生のオン・ポリティクスの分布の下で到達可能な推論軌道に制約される。 そこで,本研究では,教師が目標ではなく触媒として機能するCataOPDを提案する。 セルフ・レスキュー・ルーティングは、経験的に全滅したグループを教師の介入ではなくルーティング信号として使用し、まずは政治上の自己サンプリングを通じて正しい軌道を求める。 自己救済後の未解決問題に対して, 触媒誘導型自己解決法は, 指導的学生分布において, 検証された学生生成軌跡を導出するために触媒誘導を用いる。 バリア重み付き内部化は、ガイド付き対数確率ギャップによってトークンを重み付け、ガイダンスなしで難しい決定的トークンの更新に集中する。 実験結果から,CataOPDは現在のベースラインを上回り,未発見問題に対する独立学生推論を延長し,触媒フリー推論下での分布外一般化を改善した。 私たちのプロジェクトはhttps://github.com/QwenQKing/CataOPD.comで利用可能です。

関連論文リスト

• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations [41.8393565183611]
  オンライン蒸留(OPD)は,高濃度のトークンレベルの誘導を通じて,高機能天井を拡大することなく,学生を正しい推論経路へと導いてくれることを示す。 教師と教師のミスマッチは、教師と生徒の分布ギャップが大きくなり、指導信号がタスクの正しさに悪影響を及ぼし、反生産的な方向を探索するときに起こる。 長さ爆発は、集約されたトークンレベルの目的が長さ依存のショートカットを生成し、学生が応答の切り離しや冗長なパディングを通じて報酬のランドスケープをゲームできるようにするときに起こる。 これらの病態に対処するために、我々は軽量信号規制、すなわち、クリップとログスケール圧縮について検討する。
  論文  参考訳（メタデータ） (2026-07-15T02:52:37Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。