論文の概要: Distillation Defenses Easily Break After Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.35699v1
- Date: Mon, 28 Sep 2026 17:40:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:36:07.219198
- Title: Distillation Defenses Easily Break After Reinforcement Learning
- Title（参考訳）: 蒸留防衛は強化学習で簡単に崩壊する
- Abstract要約: 蒸留攻撃は、クローズドソースの大規模言語モデルの推論能力を模倣する。
単純な攻撃は既存の言語モデルから推論能力を盗むことができることを示す。
バッチレベルの蒸留防衛の方が有効である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 58.27638028478372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distillation attacks copy the reasoning capabilities of closed-source large language models, allowing bad actors to replicate state-of-the-art performance at low cost. Attackers systematically collect a large volume of frontier model reasoning traces and then train (i.e., "distill") their own models on these traces. Existing defenses against distillation attacks are typically evaluated immediately after distillation, implicitly assuming attackers do not train their models any further. In this paper, we argue that a more realistic threat model includes further training with reinforcement learning after distillation. A misspecified threat model can give a false sense of security -- some defenses that seem effective after distillation can be broken after subsequent reinforcement learning. Practically, reinforcement learning lowers the bar for a distillation attack to be effective. We show that simple attacks can steal reasoning capabilities from existing closed-source language models using data easily obtainable from current APIs, yielding reasoning improvements equivalent to more sophisticated attacks that extract the full hidden traces. Results indicate that any distillation defense that leaks sufficient information to reconstruct approximate reasoning traces is likely ineffective. We conclude by discussing broader implications and batch-level distillation defenses which could be more effective.
- Abstract（参考訳）: 蒸留攻撃は、クローズドソースの大規模言語モデルの推論能力を模倣し、悪いアクターが最先端のパフォーマンスを低コストで再現できるようにする。
攻撃者は、痕跡を推論する大量のフロンティアモデルを体系的に収集し、これらのトレース上で自身のモデルを訓練する。
既存の蒸留攻撃に対する防御は、通常蒸留直後に評価され、攻撃者がこれ以上モデルを訓練しないことを暗黙的に仮定する。
本稿では,蒸留後の強化学習によるさらなる訓練を含む,より現実的な脅威モデルについて論じる。
不正に特定された脅威モデルは、誤ったセキュリティの感覚を与える可能性がある - 蒸留後に有効と思われる防衛は、その後の強化学習で破壊される可能性がある。
実際に、強化学習は蒸留攻撃のバーを効果的に下げる。
単純な攻撃は、既存のクローズドソース言語モデルから、現在のAPIから容易に取得可能なデータを使って推論機能を盗むことができることを示す。
以上の結果から, およその推理トレースを再構築するための十分な情報を漏出する蒸留防衛は, 効果が低い可能性が示唆された。
本研究は,より効果的である,より広範な含意とバッチレベルの蒸留防衛について論じる。
関連論文リスト
- What Does It Mean to Break a Distillation Defense? [33.607700445538136]
ブラックボックスのLSMは蒸留攻撃に弱いので、攻撃者がモデルに問い合わせて、その出力で生徒を訓練する。
本稿では,クエリ予算,データ予算,インターフェースプロファイルという,攻撃者の3つの側面を記述した脅威モデルフレームワークを提案する。
蒸留防衛の今後の取り組みは、それらの周辺に構築されたガバナンスや政策の枠組みとともに、明示的に特定し、ストレステストのアタッカーの能力をテストすべきである、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-23T18:13:02Z) - SpooFL: Spoofing Federated Learning [54.05993847488204]
我々は、攻撃者が真の訓練データを回復したと信じ込ませるスプーフィングベースの防御を導入する。
クラスやディストリビューションをプライベートデータと共有する以前の合成データディフェンスとは異なり、SFLは外部データセットでトレーニングされた最先端の生成モデルを使用する。
その結果、攻撃者はプラウチブルで完全に無関係なサンプルを回収し、有意義なデータ漏洩を防ぐことに誤解される。
論文 参考訳（メタデータ） (2026-01-21T14:57:18Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳（メタデータ） (2023-11-20T02:21:49Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳（メタデータ） (2023-08-02T05:54:01Z) - Improving Defensive Distillation using Teacher Assistant [1.2891210250935146]
敵攻撃は、現代のアプリケーションに適用されているディープニューラルネットワークのセキュリティと安全性に重大な脅威をもたらす。
本稿では, 蒸留モデルのロバスト性を向上させるために, 補助ネットワークを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-14T05:27:17Z) - Understanding Reconstruction Attacks with the Neural Tangent Kernel and
Dataset Distillation [110.61853418925219]
我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。
理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。
これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
論文 参考訳（メタデータ） (2023-02-02T21:41:59Z) - Backdoor Attacks Against Dataset Distillation [24.39067295054253]
本研究は,画像領域におけるデータセット蒸留モデルにより抽出されたデータに基づいて訓練されたモデルに対して,最初のバックドア攻撃を行う。
本研究では,NAIVEATTACKとDOORPINGの2種類のバックドア攻撃を提案する。
実験的な評価では、NAIVEATTACKは攻撃成功率(ASR)をある程度達成し、DOORPINGは全てのケースでより高いASRスコア(1.0に近かった)に達する。
論文 参考訳（メタデータ） (2023-01-03T16:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。