論文の概要: DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
- arxiv url: http://arxiv.org/abs/2608.14644v1
- Date: Wed, 29 Jul 2026 07:17:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.937645
- Title: DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
- Title（参考訳）: DUET: 禁制コンプライアンスのための同じ重量の診断を通したデュアルティーラーオン・ポリケーション
- Abstract要約: DUETは、禁止(肯定的な)を見る教師と、(否定的な)否定しない同一の重みを持つ教師とをペアにする
2人の教師は、禁制の可視性においてのみ異なるため、一対の意見の不一致は禁制の因果効果を分離する。
明示的な拒絶、言い換えの堅牢性、過剰な拒絶を含む5つのタスクファミリーにまたがる産業禁制基準を構築した。
- 参考スコア（独自算出の注目度）: 18.120747389265595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world LLM deployments increasingly rely on runtime-injected prohibitions--enterprise policies, PII redlines, tool boundaries--that vary per request and per tenant. Conventional post-training is structurally ill-suited: SFT hides the violation signal in compliant labels, and DPO's sequence-level preferences mismatch token-localized violations. We propose DUET, a token-selective on-policy distillation method for prohibition compliance. DUET pairs a teacher that sees the prohibition (positive) with an identical-weight teacher that does not (negative). Because the two teachers differ only in prohibition visibility, their per-token disagreement isolates the prohibition's causal effect--yielding a clean supervision signal uncontaminated by model capacity or mismatch. This disagreement drives two complementary mechanisms: signal cleaning, which discards agreement tokens as redundant or prefix-corrupted, and preference-directed learning, which pushes the student away from the negative teacher and toward the positive one at token granularity, embedding DPO-style optimization directly into OPD without offline preference data. We construct an industrial Prohibition-Compliance benchmark spanning five task families covering explicit-refusal, paraphrase robustness, and over-refusal. Across 1.5B-8B Qwen variants, DUET achieves 72.3-85.2% violation compliance while preserving 88-93% normal utility, dramatically outperforming teacher model and other distillation baselines. External evaluation on SysBench confirms improved safety alignment with minimal degradation on GSM8K and MATH-500.
- Abstract（参考訳）: 現実のLLMデプロイメントでは,実行時インジェクトの禁止 – エンタプライズポリシ,PIIリフレッシュライン,ツールバウンダリ – がますます依存している。
SFTは違反信号を準拠ラベルに隠蔽し、DPOのシーケンスレベルの嗜好はトークン局所化違反である。
規制遵守のためのトークン選択型オンライン蒸留法であるDUETを提案する。
DUETは、禁止(肯定的)を見る教師と、(否定的)否定しない同一の重みを持つ教師とをペアにする。
2人の教師は、禁制の可視性だけが異なるため、彼らの意見の相違は、禁制の因果効果を孤立させ、モデルの能力やミスマッチによって汚染されないクリーンな監視信号を得る。
この不一致は、2つの相補的なメカニズムを駆動する: 信号クリーニングは、契約トークンを冗長またはプレフィックスの破損として破棄する信号クリーニングと、学生をネガティブな教師から正のトークン粒度へと押し下げ、オフラインの選好データなしでDPOスタイルの最適化を直接PDに埋め込む選好指向学習である。
明示的な拒絶、言い換えの堅牢性、過剰な拒絶を含む5つのタスクファミリーにまたがる産業禁制基準を構築した。
1.5B-8BのQwenの変種の中で、DUETは72.3-85.2%の違反コンプライアンスを達成し、88-93%の通常の実用性を維持し、教師モデルやその他の蒸留ベースラインを劇的に上回っている。
SysBenchの外部評価では、GSM8KとMATH-500の最小限の劣化で安全アライメントが改善された。
関連論文リスト
- Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation [14.183839885490372]
オンライン蒸留(OPD)は、現在の学生が生み出す軌跡に沿って教師に質問することで拡散モデルに適応する。
既存の OPD 法は,CFG 合成予測に追従する速度マッチングを自然に拡張する。
この目的がブランチレベルで過小評価されていることを示す。
我々は、正の予測とCFG条件の方向を別々に制約する分岐認識OPD目標である正の方向マッチング(PDM)を導入する。
論文 参考訳（メタデータ） (2026-07-27T17:57:02Z) - Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs [54.96236442484317]
リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。
Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
論文 参考訳（メタデータ） (2026-07-21T02:15:39Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Defending Against Harmful Supervision Hidden in Benign Samples [61.51852972402142]
既存の防御は、有害なコンテンツを下流の微調整データに明示的に混入した場合に有効であるが、工芸品のサンプルは、良質なタスクの中で有害な監視を隠すことができる。
本稿では,有害なQAペアを良質なトレーニングサンプルに埋め込んだ組込み攻撃を提案する。
論文 参考訳（メタデータ） (2026-06-29T13:11:49Z) - CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。
一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。
CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
論文 参考訳（メタデータ） (2026-06-28T16:11:47Z) - OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。
OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
論文 参考訳（メタデータ） (2026-05-31T22:31:15Z) - DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models [3.0273878903284266]
DASHは、両方のスコアブランチを監督する二重ブランチ蒸留フレームワークである。
TIRT Transferは、教師の時間単位の重要カリキュラムを凍結した前科として生徒にコピーする。
論文 参考訳（メタデータ） (2026-05-30T16:35:54Z) - Adversarial Dual On-Policy Distillation from Expressive Teacher [53.63143943452487]
フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。
教師は学生のロールアウトに2つの補完的な信号を提供します。
アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
論文 参考訳（メタデータ） (2026-05-26T14:38:03Z) - Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。
本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
論文 参考訳（メタデータ） (2025-03-05T18:01:05Z) - Improved Certified Defenses against Data Poisoning with (Deterministic)
Finite Aggregation [122.83280749890078]
本報告では, 一般中毒に対する予防的対策として, フィニット・アグリゲーション(Finite Aggregation)を提案する。
トレーニングセットを直接非結合部分集合に分割するDPAとは対照的に、我々の方法はまず、トレーニングセットをより小さな非結合部分集合に分割する。
我々は、決定論的および集約的認証された防御設計をブリッジして、我々の方法の代替的な見解を提供する。
論文 参考訳（メタデータ） (2022-02-05T20:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。