論文の概要: Antidistillation is Cheap: Lightweight Distillation-Resistance via Stylistic Corruption
- arxiv url: http://arxiv.org/abs/2611.17772v1
- Date: Fri, 13 Nov 2026 05:32:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.311108
- Title: Antidistillation is Cheap: Lightweight Distillation-Resistance via Stylistic Corruption
- Title(参考訳): 消毒はチープである-ストイリスティック破壊による軽量蒸留-抵抗性
- Abstract要約: そこで本研究では,教師モデルのアクティベーションに動的にスタイルステアリングベクトルを注入する軽量なディフェンスを提案する。
本実験は, 本フレームワークが学生の学習を阻害し, 実質的な抗蒸留性能を実現することを実証した。
- 参考スコア(独自算出の注目度): 2.8947928796822144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation (KD) is a highly effective paradigm for transferring capabilities from large language models (LLMs) to smaller, more specialized student models. In commercial deployment where frontier models are restricted behind black-box APIs, sequence-level distillation remains a potent vector for competitors to clone proprietary capabilities at a fraction of the development cost. Existing defenses mostly rely on surrogate models to manipulate next-token sampling, which increases computational overhead and real-time inference latency. In this work, we propose a lightweight defense that dynamically injects style-steering vectors into the teacher model's activations upon malicious queries. This framework offers exceptional flexibility, allowing hosts to customize target defensive styles and dynamically blend them to maximize stylistic variance. Crucially, this inference-time intervention preserves semantic utility and fluency during malicious queries, misleading adversaries into believing that they are extracting pristine teacher outputs, while standard consumers continue to receive original, unmodified responses. Our experiments demonstrate that this framework successfully disrupts student learning, achieving substantial anti-distillation performance while incurring negligible overhead and preserving text naturalness. Our code is available at https://anonymous.4open.science/r/distill-resist-38C6/.
- Abstract(参考訳): 知識蒸留(KD)は、大きな言語モデル(LLM)からより小さく、より専門的な学生モデルへ機能を移行するための非常に効果的なパラダイムである。
ブラックボックスAPIの背後にフロンティアモデルが制限されている商業展開において、シークエンスレベルの蒸留は、開発コストのごく一部でプロプライエタリな機能をクローンする競争相手にとって強力なベクトルである。
既存のディフェンスは、主に次世代サンプリングを操作するための代理モデルに依存しており、計算オーバーヘッドとリアルタイムの推論遅延を増大させる。
そこで本研究では,教師モデルのアクティベーションに動的にスタイルステアリングベクトルを注入する軽量なディフェンスを提案する。
このフレームワークは例外的な柔軟性を提供しており、ホストはターゲットの防御スタイルをカスタマイズし、それらを動的にブレンドしてスタイルのばらつきを最大化することができる。
重要なことは、この推論時間の介入は、悪意のあるクエリ中に意味的有用性と流布を保ち、敵を誤解させ、彼らが原始教師の出力を抽出していると信じさせ、一方、標準消費者は元の、修正されていない応答を受け続けている。
実験により,本フレームワークは学生の学習を阻害し,無矛盾なオーバーヘッドを発生させ,テキストの自然さを保ちながら,実質的な蒸留防止性能を達成できることが実証された。
私たちのコードはhttps://anonymous.4open.science/r/distill-resist-38C6/で利用可能です。
関連論文リスト
- Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。
我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。
実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2026-04-21T01:22:35Z) - SODA: Semi On-Policy Black-Box Distillation for Large Language Models [19.748920924563546]
大きな言語モデルに対するブラックボックスの知識蒸留は厳密なトレードオフをもたらす。
4つのコンパクトQwen2.5およびLlama-3モデルのセミ評価は、このセミオン政治パラダイムを検証する。
トレーニングを10倍速くし、27%のピークGPUメモリを消費し、対向不安定性を完全に排除しながら、この優れた蒸留品質を実現する。
論文 参考訳(メタデータ) (2026-04-04T21:38:22Z) - Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。
私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。
Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
論文 参考訳(メタデータ) (2025-06-04T01:23:35Z) - Cascading Adversarial Bias from Injection to Distillation in Language Models [48.69588532511484]
本稿では, 蒸留モデルによる学習中のバイアス成分の逆注入に対する脆弱性について検討する。
我々は,教師モデルに対して,データ中毒を最小限に抑えて微妙な偏見を注入できることを実証した。
本稿では,効果的な対向バイアス緩和戦略を構築するための実用的な設計原則を提案する。
論文 参考訳(メタデータ) (2025-05-30T17:41:58Z) - DOGe: Defensive Output Generation for LLM Protection Against Knowledge Distillation [49.58082402742583]
LLM(Large Language Models)は、大きな知的・経済的投資である。
LLMは知識蒸留(KD)によるモデル模倣を不注意に促進できる
本稿では,効果的なDefensive Output Generation(DOGe)戦略を提案する。
論文 参考訳(メタデータ) (2025-05-26T04:31:38Z) - Adversarial Sparse Teacher: Defense Against Distillation-Based Model Stealing Attacks Using Adversarial Examples [2.0257616108612373]
対人スパース教師 (AST) は蒸留モデル盗難攻撃に対する堅牢な防御方法である。
提案手法は, 逆例を用いて教師モデルを訓練し, スパースロジット応答を生成し, 出力分布のエントロピーを増大させる。
論文 参考訳(メタデータ) (2024-03-08T09:43:27Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳(メタデータ) (2023-08-02T05:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。