論文の概要: Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
- arxiv url: http://arxiv.org/abs/2609.27421v1
- Date: Wed, 23 Sep 2026 06:37:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.921297
- Title: Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
- Title（参考訳）: マルチコントラスト教育における実証的制約付きオンポリティ蒸留法
- Abstract要約: 以下のマルチ制約命令は、多くのアクティブな制約の下でクエリに応答するモデルを必要とする。
蒸留における標準監督世代方向を逆転させるCC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)を提案する。
- 参考スコア（独自算出の注目度）: 5.84183450296164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-constraint instruction following requires a model to respond to a query under many simultaneously active constraints. Even strong instruction-tuned models still routinely violate some of them. Existing approaches either augment supervision with sequence- or token-level RL rewards from external verifiers or learned graders, or use on-policy distillation (OPD) against a single full-context teacher whose probability mass becomes diluted as more constraints become simultaneously active. We propose CC-OPD (Counterfactual Constraint-Conditioned On-Policy Distillation), which inverts the standard supervision-generation direction in distillation. Rather than enriching the teacher with information beyond what the student sees, CC-OPD ablates each constraint from the teacher's conditioning in turn, and constructs the per-constraint signal from the resulting per-token probability differentials. The resulting per-token leave-one-out log-likelihood shifts are summed, clipped, and added to the vanilla OPD reward as a token-level shaping term. All shaping terms are obtained from the frozen teacher, without an external verifier during distillation, and the reward equals vanilla OPD wherever the aggregate shift is zero. Across two Qwen model pairs and seven benchmarks, CC-OPD achieves the highest average among all evaluated student-training methods. A 1.5B student trained with CC-OPD surpasses its own 7B RL-trained teacher on the MulDimIF benchmark.
- Abstract（参考訳）: 以下のマルチ制約命令は、多くのアクティブな制約の下でクエリに応答するモデルを必要とする。
命令で調整された強力なモデルでさえ、まだ一部のモデルに定期的に違反している。
既存のアプローチでは、外部検証器や学習用グレーダーからのシーケンスレベルのRL報酬による監視や、より多くの制約が同時に活発になるにつれて、確率が希薄になる単一のフルコンテキストの教師に対して、オンライン蒸留(OPD)を使用する。
蒸留における標準監督世代方向を逆転させるCC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)を提案する。
CC-OPDは、生徒が見ているもの以上の情報で教師を豊かにする代わりに、教師の条件付けから各制約を非難し、結果として生じる確率差から、制約ごとの信号を構成する。
結果として、トークンレベルのシェーピング用語としてバニラOPD報酬に合計され、クリップされ、追加される。
全ての成形用語は、蒸留中に外部検証器を使わずに冷凍教師から得られ、その報酬は集合シフトがゼロであればバニラPDと等しい。
2つのQwenモデルペアと7つのベンチマークで、CC-OPDは評価された学生訓練方法の中で最も高い平均を達成している。
CC-OPDで訓練を受けた1.5Bの学生が、MulDimIFベンチマークで7B RLのトレーニングを受けた教師を上回った。
関連論文リスト
- RISE: Recursive Improvement via Self-Extrapolating Policy Distillation [47.92477203057629]
textbfRISE (textbfRecursive textbfImprovement via textbfSelf-textbfExtrapolating Policy Distillation)を提案する。
RISEは、モデル自身のRLVRトレーニング軌道から直接合成教師を構築する。
数学的推論、マルチドメインSTEM、コード生成、マルチターンエージェントタスクにまたがる実験により、RISEはRLVRのみのトレーニングや政治上の自己蒸留よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-09-04T15:47:51Z) - Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。
オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。
我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
論文 参考訳（メタデータ） (2026-08-13T12:44:37Z) - OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。
これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。
品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文 参考訳（メタデータ） (2026-08-03T23:09:43Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。
OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
論文 参考訳（メタデータ） (2026-05-31T22:31:15Z) - MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate [17.31967380175203]
そこで我々は,MAD-OPD (Multi-Agent Debate-driven On-Policy Distillation)を提案する。
また,多段誤差合成によるトレーニングを安定させるために,ステップレベルサンプリングを付加したOPAD(On-Policy Agentic Distillation)を導入する。
論文 参考訳（メタデータ） (2026-05-02T09:41:37Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。