論文の概要: Data-Free Knowledge Distillation Using Adversarially Perturbed OpenGL Shader Images

• arxiv url: http://arxiv.org/abs/2310.13782v1
• Date: Fri, 20 Oct 2023 19:28:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:29:11.283846
• Title: Data-Free Knowledge Distillation Using Adversarially Perturbed OpenGL Shader Images
• Title（参考訳）: 逆摂動OpenGLシェーダ画像を用いたデータフリー知識蒸留
• Authors: Logan Frank and Jim Davis
• Abstract要約: 知識蒸留(KD)は、モデル圧縮の一般的かつ効果的な方法である。 データフリー」なKDは、データが提供されていない場合のKDの実行シナリオに焦点を当てた、研究トピックとして発展しつつある。 非自然な画像と大量のデータ拡張と敵攻撃を組み合わせた、データフリーなKDに対する新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.439020425819001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has been a popular and effective method for model compression. One important assumption of KD is that the original training dataset is always available. However, this is not always the case due to privacy concerns and more. In recent years, "data-free" KD has emerged as a growing research topic which focuses on the scenario of performing KD when no data is provided. Many methods rely on a generator network to synthesize examples for distillation (which can be difficult to train) and can frequently produce images that are visually similar to the original dataset, which raises questions surrounding whether privacy is completely preserved. In this work, we propose a new approach to data-free KD that utilizes unnatural OpenGL images, combined with large amounts of data augmentation and adversarial attacks, to train a student network. We demonstrate that our approach achieves state-of-the-art results for a variety of datasets/networks and is more stable than existing generator-based data-free KD methods. Source code will be available in the future.
• Abstract（参考訳）: 知識蒸留(KD)はモデル圧縮の一般的かつ効果的な方法である。 KDの重要な前提のひとつは、オリジナルのトレーニングデータセットが常に利用できることだ。 しかし、プライバシーの懸念などにより、これは必ずしもそうではない。 近年、データのないKDは、データが提供されていない場合のKDの実行シナリオに焦点を当てた研究トピックとして発展しつつある。 多くの方法は、蒸留の例を合成するためにジェネレータネットワークに依存しており(訓練が難しい)、元のデータセットと視覚的に類似したイメージを頻繁に生成することができる。 本研究では,不自然なOpenGL画像と大量のデータ拡張と敵対的攻撃を組み合わせることで,学生ネットワークをトレーニングする,データフリーなKDの新しいアプローチを提案する。 提案手法は, 各種データセット/ネットワークの最先端化を実現し, 既存のジェネレータベースのデータフリーKD法よりも安定であることを示す。 ソースコードは将来的に提供される予定だ。

関連論文リスト

• What Makes a Good Dataset for Knowledge Distillation? [4.604003661048267]
  知識蒸留(KD)は、モデル圧縮の一般的かつ効果的な方法である。 KDの重要な前提の1つは、教師のオリジナルのデータセットが学生のトレーニング時にも利用できることである。 企業なしデータセットでトレーニングされた大規模なモデルの連続学習や蒸留といった状況では、元のデータにアクセスすることは必ずしも不可能である。
  論文  参考訳（メタデータ） (2024-11-19T19:10:12Z)
• Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
  知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。 KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。 本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T14:43:27Z)
• Wakening Past Concepts without Past Data: Class-Incremental Learning from Online Placebos [85.37515663416691]
  KDのための新しいクラスデータの利用」は、モデル適応(新しいクラスを学ぶための)を妨げるだけでなく、古いクラスの知識を保存するための低効率をもたらす。 ここでは,Google Imagesなどの無料画像ストリームから,Placebosを自動的かつ経済的に選択するKDの古いクラスのPlaceboを使用することによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-24T18:32:46Z)
• Revisiting Data-Free Knowledge Distillation with Poisoned Teachers [47.513721590643435]
  データフリーな知識蒸留(英語: Data-free knowledge distillation、KD)は、教師モデルのトレーニングに使用される元のトレーニングデータにアクセスすることなく、事前訓練されたモデルからより小さなモデル(学生モデルとして知られる)に知識を伝達するのに役立つ。 しかし、データフリーなKDで必要とされるOOD(synthetic or Out-of-distriion)データのセキュリティはほとんど不明であり、未調査である。 我々は,データフリーなKD手法のための最初のプラグイン防御手法であるアンチバックドア・データフリーKDを提案し,バックドアが転送される可能性を軽減した。
  論文  参考訳（メタデータ） (2023-06-04T14:27:50Z)
• VanillaKD: Revisit the Power of Vanilla Knowledge Distillation from Small Scale to Large Scale [55.97546756258374]
  より強力なデータ拡張技術を採用し、より大きなデータセットを使用することで、バニラKDと他の細心の注意を払って設計されたKDとのギャップを直接削減できることを示す。 より複雑なスキームにおけるバニラKDとその変種の研究は、より強力な訓練戦略と異なるモデル能力を含む、バニラKDはエレガントに単純だが、大規模なシナリオでは驚くべきほど効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:50:08Z)
• Black-box Few-shot Knowledge Distillation [55.27881513982002]
  知識蒸留 (KD) は、大きな「教師」ネットワークからより小さな「学生」ネットワークへ知識を伝達する効率的な手法である。 そこで本研究では,未ラベルのトレーニングサンプルとブラックボックスの教師を用いて,学生を訓練するためのブラックボックス数ショットKD手法を提案する。 我々は、画像分類タスクにおいて、最近のSOTA/ゼロショットKD法よりも大幅に優れていることを示すため、広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T12:16:53Z)
• Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
  本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。 本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-16T08:41:30Z)
• Large-Scale Generative Data-Free Distillation [17.510996270055184]
  本質的な正規化層の統計を利用して生成画像モデルを訓練する新しい方法を提案する。 提案手法は, CIFAR-10とCIFAR-100のデータフリー蒸留性能を95.02%, 77.02%に向上させる。 ImageNetデータセットにスケールすることができますが、私たちの知る限り、データフリー環境で生成モデルを使用することは一度もありません。
  論文  参考訳（メタデータ） (2020-12-10T10:54:38Z)
• Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
  知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。 多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。 本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。 KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
  論文  参考訳（メタデータ） (2020-12-05T00:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。