論文の概要: On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

• arxiv url: http://arxiv.org/abs/2607.27081v1
• Date: Wed, 29 Jul 2026 16:07:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.736819
• Title: On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
• Title（参考訳）: LLM安全のためのオン・ポリシィ蒸留:テンプレート・ロバスト再配置への経路的アプローチ
• Abstract要約: 悪意のあるデータプロバイダは、ダウンストリームコーパスに有害な振る舞いを埋め込むことができ、需要に対する人間の価値を侵害しながら、専門的なスキルを保持するモデルを作成する。 既存の安全確保防衛は、3つの重要な制限のために実際には失敗することが多い。 本稿では, 配向確率分布と妥協確率分布の分散をモデル化した, 新規な配向フレームワークであるOn-Policy Distillation (ROPD)を提案する。
• 参考スコア（独自算出の注目度）: 16.530367322827647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is the dominant paradigm for specializing large language models (LLMs), yet it exposes a critical vulnerability: malicious data providers can embed harmful behaviors into downstream corpora, creating models that retain professional skills while violating human values on demand. Existing safety-realignment defenses often fail in practice due to three key limitations: they frequently cause catastrophic forgetting of specialized skills; their effectiveness collapses when the defender cannot observe the attacker's prompt template; and successfully realigned models remain susceptible to re-jailbreaking via simple system prompt switches. To address these challenges, we propose Routing-based On-Policy Distillation (ROPD), a novel realignment framework that models the divergence between aligned and compromised output probability distributions rather than fitting specific prompt templates. We conduct extensive experiments comparing ROPD against four state-of-the-art baselines across three datasets and three base models with varying alignment strengths. Our results demonstrate that when baseline defenses face template mismatches, often accompanied by severe degradation in downstream task performance. In contrast, ROPD substantially mitigates template-mismatch risks, maintaining superior robustness in both defense effectiveness and capability preservation. While our analysis indicates ROPD is not entirely immune to template shifts, its performance degradation is negligible compared to existing methods, establishing a new standard for robust LLM realignment.
• Abstract（参考訳）: 悪意のあるデータプロバイダは、ダウンストリームコーパスに有害な振る舞いを埋め込むことができ、要求に対する人間の価値を侵害しながら、専門的なスキルを保持するモデルを作成することができる。 それらはしばしば特殊スキルの破滅的な忘れを招き、攻撃者のプロンプトテンプレートを観察できないときにその効果が崩壊する。 これらの課題に対処するため、我々は、特定のプロンプトテンプレートを適合させるのではなく、アライメントと妥協された出力確率分布のばらつきをモデル化する新しいリアライメントフレームワークである、ルーティングベースのオンポリシィ蒸留(ROPD)を提案する。 3つのデータセットと3つのベースモデルにまたがる4つの最先端ベースラインに対するROPDの比較実験を行った。 その結果,ベースラインディフェンスがテンプレートミスマッチに直面すると,ダウンストリームタスク性能が著しく低下することがわかった。 対照的に、ROPDはテンプレートミスマッチリスクを著しく軽減し、防御効果と能力保存の両面で優れた堅牢性を維持する。 ROPDはテンプレートシフトに完全には免疫しないが, 従来の方法に比べて性能劣化は無視できるため, 堅牢なLCM認識のための新しい標準が確立された。

関連論文リスト

• Reasoning as an Attack Surface: Adaptive Evolutionary CoT Jailbreaks for LLMs [56.53007443197966]
  大規模推論モデル(LRM)は推論および生成タスクにおいて顕著な機能を示した。 彼らの明確なチェーン・オブ・シント(CoT)メカニズムは、新しいセキュリティリスクをもたらし、特にジェイルブレイク攻撃に対して脆弱である。 AE-CoTと呼ばれる適応的な進化的CoTジェイルブレイクフレームワークを提案し、これらの制限を克服する。
  論文  参考訳（メタデータ） (2026-05-23T10:11:32Z)
• Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
  本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。 本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
  論文  参考訳（メタデータ） (2026-04-07T08:43:36Z)
• A Patch-based Cross-view Regularized Framework for Backdoor Defense in Multimodal Large Language Models [10.372037861522783]
  本稿では,パッチ拡張とクロスビュー規則性に基づく統一型防衛フレームワークを提案する。 我々の研究は、現実的な低周波中毒と隠蔽トリガーシナリオにおける大規模マルチモーダルモデルの安全かつ制御された展開を可能にする。
  論文  参考訳（メタデータ） (2026-04-06T07:27:04Z)
• ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning [4.085737586606009]
  本稿では,組込み空間におけるクラス条件表現の整合性を利用して分割学習の堅牢性を向上させるサーバサイドディフェンスであるProtoGuard-SLを提案する。 筆者らのアプローチは,同じクラス内の良性埋め込みが安定なセマンティックアライメントを示すのに対して,有毒な埋め込みは必然的にこの構造を阻害する,という観察によって動機づけられた。
  論文  参考訳（メタデータ） (2026-04-04T05:24:09Z)
• The Autonomy Tax: Defense Training Breaks LLM Agents [5.990318568221089]
  安全を改善するために設計された防衛訓練は、高度な攻撃を防ぐのに失敗しながら、エージェントの能力を体系的に破壊する。 我々は,97件のエージェントタスクと1,000件の敵のプロンプトにまたがる無防備なベースラインに対する防御モデルの評価を行った。 その結果,現在の防衛パラダイムは,マルチステップエージェントを基本的に信頼できないようにレンダリングしながら,シングルターンリフェールベンチマークに最適化されていることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T19:33:17Z)
• Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction [49.03500737694832]
  textbfReinforcement textbfLearning with textbfTurn textbfRLSTA。 実験の結果,RTSTAは標準微調整法や禁忌法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2026-03-05T04:04:59Z)
• Fail-Closed Alignment for Large Language Models [4.205036273334146]
  本研究では,大規模言語モデルの安全性向上のための設計原則として,フェールクロースアライメントを提案する。 本稿では、事前学習した拒絶方向を反復的に識別し、非難するプログレッシブアライメント・フレームワークを提案する。 メカニスティック解析により,本手法で訓練したモデルでは,プロンプトベースのジェイルブレイクが同時に抑制できない複数の因果的に独立な拒絶方向を符号化することを確認した。
  論文  参考訳（メタデータ） (2026-02-19T00:33:35Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
  モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。 既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。 OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
  論文  参考訳（メタデータ） (2025-06-03T01:37:09Z)
• R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning [69.72249695674665]
  視覚言語モデル(VLM)のためのロバストテスト時プロンプトチューニング(R-TPT)を提案する。 R-TPTは、推論段階における敵攻撃の影響を緩和する。 プラグアンドプレイの信頼性に基づく重み付きアンサンブル戦略を導入し,防御強化を図る。
  論文  参考訳（メタデータ） (2025-04-15T13:49:31Z)
• Stealthy and Persistent Unalignment on Large Language Models via Backdoor Injections [17.49244337226907]
  バックドアインジェクションにより,大規模言語モデルに対してステルスと永続的不整合を行うことが可能であることを示す。 提案したステルスと持続的不整合は、再整合防御に対する強い持続性を維持しつつ、安全性評価に合格することができる。
  論文  参考訳（メタデータ） (2023-11-15T23:52:05Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。