論文の概要: Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework

• arxiv url: http://arxiv.org/abs/2212.08349v1
• Date: Fri, 16 Dec 2022 08:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:53:15.580038
• Title: Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework
• Title（参考訳）: swing distillation: プライバシ保存型知識蒸留フレームワーク
• Authors: Junzhuo Li, Xinwei Wu, Weilong Dong, Shuangzhi Wu, Chao Bian and Deyi Xiong
• Abstract要約: 本研究では,教師モデルの個人情報が学生モデルに流れるのを効果的に保護できる新しい知識蒸留法を提案する。 複数のデータセットとタスクの実験により、提案されたスイング蒸留は、プライバシー漏洩のリスクを著しく低減できる(カナリア曝露の80%以上)ことが示された。
• 参考スコア（独自算出の注目度）: 38.68736962054861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has been widely used for model compression and knowledge transfer. Typically, a big teacher model trained on sufficient data transfers knowledge to a small student model. However, despite the success of KD, little effort has been made to study whether KD leaks the training data of the teacher model. In this paper, we experimentally reveal that KD suffers from the risk of privacy leakage. To alleviate this issue, we propose a novel knowledge distillation method, swing distillation, which can effectively protect the private information of the teacher model from flowing to the student model. In our framework, the temperature coefficient is dynamically and adaptively adjusted according to the degree of private information contained in the data, rather than a predefined constant hyperparameter. It assigns different temperatures to tokens according to the likelihood that a token in a position contains private information. In addition, we inject noise into soft targets provided to the student model, in order to avoid unshielded knowledge transfer. Experiments on multiple datasets and tasks demonstrate that the proposed swing distillation can significantly reduce (by over 80% in terms of canary exposure) the risk of privacy leakage in comparison to KD with competitive or better performance. Furthermore, swing distillation is robust against the increasing privacy budget.
• Abstract（参考訳）: 知識蒸留(KD)はモデル圧縮や知識伝達に広く用いられている。 通常、十分なデータに基づいて訓練された大きな教師モデルは、知識を小さな学生モデルに伝達する。 しかし、KDの成功にもかかわらず、KDが教師モデルのトレーニングデータを漏洩するかどうかを研究する努力はほとんど行われていない。 本稿では,KDがプライバシー漏洩のリスクに悩まされていることを実験的に明らかにする。 そこで本研究では,教師モデルの個人情報を学生モデルに流すことから効果的に保護できる,新しい知識蒸留法であるスイング蒸留法を提案する。 本フレームワークでは、予め定義された定数ハイパーパラメータではなく、データに含まれるプライベート情報の度合いに応じて温度係数を動的かつ適応的に調整する。 位置にあるトークンがプライベート情報を含んでいる可能性に応じて、異なる温度をトークンに割り当てる。 さらに,学生モデルに提供されたソフトターゲットに雑音を注入し,非シールドの知識伝達を回避する。 複数のデータセットとタスクにおける実験により、提案されたswing蒸留は、kdと比較して競合性や優れた性能でプライバシーリークのリスクを大幅に低減できる(カナリア露光の観点から80%以上)。 さらに、スイング蒸留はプライバシー予算の増加に対して堅牢である。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Dynamic Temperature Knowledge Distillation [9.6046915661065]
  知識蒸留(KD)領域におけるラベルソフトネスの調整における温度の役割 従来のアプローチでは、KDプロセス全体を通して静的な温度を用いることが多い。 本研究では,教師モデルと学生モデルの両方に対して,動的かつ協調的な温度制御を同時に導入する動的温度知識蒸留(DTKD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:40:52Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Students Parrot Their Teachers: Membership Inference on Model Distillation [54.392069096234074]
  知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。 私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
  論文  参考訳（メタデータ） (2023-03-06T19:16:23Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
  本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。 本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-16T08:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。