論文の概要: Does On-Policy Distillation for Safety Pose Backdoor Risks?

• arxiv url: http://arxiv.org/abs/2610.07654v1
• Date: Tue, 06 Oct 2026 02:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.765546
• Title: Does On-Policy Distillation for Safety Pose Backdoor Risks?
• Title（参考訳）: バックドアの安全リスクに対するオンライン蒸留は有効か?
• Abstract要約: オンライン蒸留(OPD)は、教師モデルから生徒モデルへの効果的な移行手段として、注目を集めている。 近年の研究では、大きな言語モデルの安全性を期待できる結果で改善するためのツールとして、OPDについても検討されている。 安全に配慮しているが、バックドアの先生は、その隠れた悪意のある振る舞いを、最初はクリーンな学生に広めることができる。
• 参考スコア（独自算出の注目度）: 13.424993387519798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) has attracted growing attention as an effective way to transfer capabilities from teacher models to student models. Recent studies further explore OPD as a tool for improving large language model safety with promising results. However, these approaches typically assume that the teacher and training data are trustworthy. In this paper, we uncover an overlooked threat to OPD for safety: a safety-aligned but backdoored teacher can propagate its hidden malicious behavior to an initially clean student. Under our threat model, a poisoning rate as low as 3% results in an attack success rate (ASR) of up to 70% on the distilled student. We further identify two training choices that can amplify this risk. First, increasing the number of training epochs can lead to high ASR even at low poisoning rates. With only 10 poisoned samples, ASR reaches 67% after 16 epochs. Second, the commonly used top-k KL can accelerate backdoor transfer, causing trigger-conditioned harmful behavior to emerge earlier than sampled-token KL in most settings. Alongside these findings, we explore a simple mitigation, Lazy Defense, which clips KL rewards to make student updates less aggressive, limiting aggressive updates and slowing backdoor learning. Experiments show that Lazy Defense delays backdoor transfer in low poisoning rate settings. Together, our findings reveal that OPD can propagate backdoors, highlighting the need to address the safety risks of OPD.
• Abstract（参考訳）: オンライン蒸留(OPD)は、教師モデルから生徒モデルへの効果的な移行手段として、注目を集めている。 近年の研究では、大きな言語モデルの安全性を期待できる結果で改善するためのツールとして、OPDについても検討されている。 しかし、これらのアプローチは典型的には教師と訓練データが信頼できると仮定する。 本稿では,安全に配慮した教師が,その隠れた悪意ある振る舞いを,当初清潔な学生に広めることができるという,安全に対するOPDに対する見落とされがちな脅威を明らかにする。 脅威モデルでは, 3%程度の毒殺率は, 留学生に対して最大70%の攻撃成功率(ASR)をもたらす。 さらに、このリスクを増幅できる2つのトレーニング選択を特定します。 第一に、訓練のエポックの数の増加は、低中毒率でも高いASRにつながる可能性がある。 有毒なサンプルは10個しかなく、ASRは16年代以降で67%に達する。 第2に、一般的に使用されるトップkKLは、バックドア転送を加速し、ほとんどの設定でサンプリングされたKLよりも早くトリガー条件の有害な振る舞いを発生させる。 これらの発見と並行して、簡単な緩和策であるLazy Defenseを探索し、KL報酬をクリップして、生徒の攻撃的アップデートを減らし、アグレッシブなアップデートを制限し、バックドアの学習を遅くする。 実験により、ラジディフェンスは低中毒率設定でバックドア転送を遅らせることが示された。 この結果から,OPDはバックドアを伝播し,OPDの安全性リスクに対処する必要性が示唆された。

関連論文リスト

• Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP [51.04452017089568]
  CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトでCLIPを間接的に浄化する効率的な防御機構である。 CBPTは、モデルユーティリティを保持しながら、バックドアの脅威を著しく軽減する。
  論文  参考訳（メタデータ） (2025-02-26T16:25:15Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.648453598314795]
  ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が出現 提案手法は,バックドア・ポゾンデータを用いたアンファンクレーンモデルの学習を目的とした,アンファンティ・バックドア学習の概念を導入する。 バックドアポゾンデータ上でのABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-10-22T03:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。