論文の概要: Safe Distillation Box
- arxiv url: http://arxiv.org/abs/2112.03695v1
- Date: Sun, 5 Dec 2021 05:01:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 13:35:48.035947
- Title: Safe Distillation Box
- Title（参考訳）: 安全な蒸留箱
- Authors: Jingwen Ye, Yining Mao, Jie Song, Xinchao Wang, Cheng Jin, Mingli Song
- Abstract要約: 我々は,知的財産保護のための仮想ボックスに事前学習したモデルをラップできる,セーフ蒸留ボックス(Safe Distillation Box, SDB)と呼ばれる新しいフレームワークを提案する。
SDBはラップされたモデルの推論能力をすべてのユーザに保持するが、KDを許可されていないユーザから排除する。
一方、認証ユーザーに対しては、SDBは、KDパフォーマンスと学生モデルの結果を強化するための知識増強スキームを実行する。
- 参考スコア（独自算出の注目度）: 62.32105311993915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation (KD) has recently emerged as a powerful strategy to
transfer knowledge from a pre-trained teacher model to a lightweight student,
and has demonstrated its unprecedented success over a wide spectrum of
applications. In spite of the encouraging results, the KD process per se poses
a potential threat to network ownership protection, since the knowledge
contained in network can be effortlessly distilled and hence exposed to a
malicious user. In this paper, we propose a novel framework, termed as Safe
Distillation Box (SDB), that allows us to wrap a pre-trained model in a virtual
box for intellectual property protection. Specifically, SDB preserves the
inference capability of the wrapped model to all users, but precludes KD from
unauthorized users. For authorized users, on the other hand, SDB carries out a
knowledge augmentation scheme to strengthen the KD performances and the results
of the student model. In other words, all users may employ a model in SDB for
inference, but only authorized users get access to KD from the model. The
proposed SDB imposes no constraints over the model architecture, and may
readily serve as a plug-and-play solution to protect the ownership of a
pre-trained network. Experiments across various datasets and architectures
demonstrate that, with SDB, the performance of an unauthorized KD drops
significantly while that of an authorized gets enhanced, demonstrating the
effectiveness of SDB.
- Abstract（参考訳）: 知識蒸留(KD)は、最近、訓練済みの教師モデルから軽量の学生に知識を伝達する強力な戦略として出現し、幅広い応用において前例のない成功を収めた。
励ましの結果にもかかわらず、ネットワークに含まれる知識を無駄に蒸留し、悪意のあるユーザに露出させるため、KDプロセスはネットワークの所有権保護に潜在的に脅威をもたらす。
本稿では,知的財産保護のための仮想ボックスに事前学習したモデルをラップできる,Safe Distillation Box (SDB) と呼ばれる新しいフレームワークを提案する。
具体的には、SDBはラップされたモデルのすべてのユーザに推論能力を保持するが、KDを許可されていないユーザから排除する。
一方,認証ユーザに対しては,sdbは,kdパフォーマンスと学生モデルの結果を強化するための知識拡張方式を実施している。
言い換えれば、すべてのユーザが推論にSDBのモデルを使用することができるが、承認されたユーザだけがモデルからKDにアクセスすることができる。
提案したSDBはモデルアーキテクチャに制約を課さず、事前訓練されたネットワークのオーナシップを保護するためのプラグイン・アンド・プレイソリューションとしてすぐに機能する可能性がある。
さまざまなデータセットやアーキテクチャの実験により、SDBでは、認可されていないKDのパフォーマンスが大幅に低下する一方で、認可されたKDのパフォーマンスが向上し、SDBの有効性が実証される。
関連論文リスト
- Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。
SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。
翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文 参考訳（メタデータ） (2024-10-15T06:51:25Z) - Robust Knowledge Distillation Based on Feature Variance Against Backdoored Teacher Model [13.367731896112861]
知識蒸留(KD)は、エッジ展開において広く使われている圧縮技術の一つである。
本稿では,特徴分散に基づいてバックドアを緩和しながらモデルを圧縮するロバストKDを提案する。
論文 参考訳（メタデータ） (2024-06-01T11:25:03Z) - Revisiting Data-Free Knowledge Distillation with Poisoned Teachers [47.513721590643435]
データフリーな知識蒸留(英語: Data-free knowledge distillation、KD)は、教師モデルのトレーニングに使用される元のトレーニングデータにアクセスすることなく、事前訓練されたモデルからより小さなモデル(学生モデルとして知られる)に知識を伝達するのに役立つ。
しかし、データフリーなKDで必要とされるOOD(synthetic or Out-of-distriion)データのセキュリティはほとんど不明であり、未調査である。
我々は,データフリーなKD手法のための最初のプラグイン防御手法であるアンチバックドア・データフリーKDを提案し,バックドアが転送される可能性を軽減した。
論文 参考訳（メタデータ） (2023-06-04T14:27:50Z) - DisCo: Effective Knowledge Distillation For Contrastive Learning of
Sentence Embeddings [36.37939188680754]
ディスティルコントラスト(DisCo)と呼ばれる知識蒸留フレームワークを提案する。
DisCoは、大きな文埋め込みモデルの能力を、大きな未ラベルデータ上で小さな学生モデルに転送する。
また,教師モデルトレーニング,KD,学生モデルファインタニングのコントラスト的知識蒸留(CKD)を提案する。
論文 参考訳（メタデータ） (2021-12-10T16:11:23Z) - How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。
我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。
特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
論文 参考訳（メタデータ） (2021-10-22T21:30:53Z) - Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。
本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-16T08:41:30Z) - KDExplainer: A Task-oriented Attention Model for Explaining Knowledge
Distillation [59.061835562314066]
KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。
また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
論文 参考訳（メタデータ） (2021-05-10T08:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。