論文の概要: ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation

• arxiv url: http://arxiv.org/abs/2211.00239v1
• Date: Tue, 1 Nov 2022 03:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 13:05:51.369927
• Title: ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation
• Title（参考訳）: ARDIR:内部表現の知識蒸留によるロバスト性の向上
• Authors: Tomokatsu Takahashi, Masanori Yamada, Yuuki Yamanaka, Tomoya Yamashita
• Abstract要約: 本稿では, 知識蒸留をより効果的に活用するために, 内部表現を用いたAdversarial Robust Distillation (ARDIR)を提案する。 ARDIRは、教師モデルの内部表現を敵の訓練のラベルとして使用する。 実験では,ARDIRが従来の手法より優れていたことを示す。
• 参考スコア（独自算出の注目度）: 2.0875529088206553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is the most promising method for learning robust models against adversarial examples. A recent study has shown that knowledge distillation between the same architectures is effective in improving the performance of adversarial training. Exploiting knowledge distillation is a new approach to improve adversarial training and has attracted much attention. However, its performance is still insufficient. Therefore, we propose Adversarial Robust Distillation with Internal Representation~(ARDIR) to utilize knowledge distillation even more effectively. In addition to the output of the teacher model, ARDIR uses the internal representation of the teacher model as a label for adversarial training. This enables the student model to be trained with richer, more informative labels. As a result, ARDIR can learn more robust student models. We show that ARDIR outperforms previous methods in our experiments.
• Abstract（参考訳）: 敵の訓練は、敵の例に対して頑健なモデルを学習するための最も有望な方法である。 最近の研究では、同一アーキテクチャ間の知識蒸留が、対人訓練の性能向上に有効であることが示されている。 知識蒸留の利用は、敵対的訓練を改善する新しいアプローチであり、多くの注目を集めている。 しかし、その性能はまだ不十分である。 そこで我々は, 知識蒸留をより効果的に活用するために, 内部表現による対人ロバスト蒸留(ARDIR)を提案する。 教師モデルの出力に加えて、ARDIRは教師モデルの内的表現を対人訓練のラベルとして使用する。 これにより、学生モデルはよりリッチでより情報的なラベルでトレーニングできる。 その結果、ARDIRはより堅牢な学生モデルを学ぶことができる。 実験では,ARDIRが従来の手法より優れていたことを示す。

関連論文リスト

• Student-friendly Knowledge Distillation [1.5469452301122173]
  そこで我々は,教師による知識表現の簡易化を目的として,学生に優しい知識蒸留(SKD)を提案する。 SKDは、軟化処理と学習簡略化器とを含む。 CIFAR-100とImageNetのデータセットを用いた実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-18T11:44:30Z)
• Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation [68.8204255655161]
  トロイの木馬の攻撃は、ディープラーニングモデルの基本的脆弱性を明らかにし、同時に顕著に有名になった。 我々は,教師に顕著な振る舞いを導入することなく,生徒モデルにトロイの木馬を埋め込むために,乱れのないデータ知識蒸留プロセスを活用することを目的とする。 我々は、生徒の精度を効果的に低減し、教師のパフォーマンスを変えず、実際に効率的に構築可能なトロイの木馬攻撃を考案した。
  論文  参考訳（メタデータ） (2023-03-09T21:37:50Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Efficient Knowledge Distillation from Model Checkpoints [36.329429655242535]
  同じ訓練軌道から複数の中間モデルの弱いスナップショットアンサンブルは、独立に訓練された完全収束モデルの強いアンサンブルより優れていることを示す。 本稿では,タスク関連相互情報の最大化に基づく最適中間教師選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:55:30Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Dynamic Rectification Knowledge Distillation [0.0]
  ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。 DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。 提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
  論文  参考訳（メタデータ） (2022-01-27T04:38:01Z)
• Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
  本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2021-08-18T04:32:35Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。