論文の概要: Reliable Adversarial Distillation with Unreliable Teachers

• arxiv url: http://arxiv.org/abs/2106.04928v1
• Date: Wed, 9 Jun 2021 09:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:04:21.340355
• Title: Reliable Adversarial Distillation with Unreliable Teachers
• Title（参考訳）: 教師の信頼できない対人蒸留
• Authors: Jianing Zhu, Jiangchao Yao, Bo Han, Jingfeng Zhang, Tongliang Liu, Gang Niu, Jingren Zhou, Jianliang Xu, Hongxia Yang
• Abstract要約: 本稿では,教師を部分的に信頼する信頼性の高い内省的対位蒸留(IAD)を提案する。 IADは、自然データ(ND)と対応する逆データ(AD)のクエリが与えられた3つのケースを区別する: (a) 教師がADが得意な場合、そのSLが完全に信頼されている; (b) 教師がNDが得意だがADが得意でない場合、そのSLは部分的に信頼されており、生徒は自身のSLも考慮している。
• 参考スコア（独自算出の注目度）: 93.41159030567466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In ordinary distillation, student networks are trained with soft labels (SLs) given by pretrained teacher networks, and students are expected to improve upon teachers since SLs are stronger supervision than the original hard labels. However, when considering adversarial robustness, teachers may become unreliable and adversarial distillation may not work: teachers are pretrained on their own adversarial data, and it is too demanding to require that teachers are also good at every adversarial data queried by students. Therefore, in this paper, we propose reliable introspective adversarial distillation (IAD) where students partially instead of fully trust their teachers. Specifically, IAD distinguishes between three cases given a query of a natural data (ND) and the corresponding adversarial data (AD): (a) if a teacher is good at AD, its SL is fully trusted; (b) if a teacher is good at ND but not AD, its SL is partially trusted and the student also takes its own SL into account; (c) otherwise, the student only relies on its own SL. Experiments demonstrate the effectiveness of IAD for improving upon teachers in terms of adversarial robustness.
• Abstract（参考訳）: 普通蒸留では、学生ネットワークは予め訓練された教師ネットワークから与えられたソフトラベル(sls)で訓練され、学生は元のハードラベルよりもslsが強いため教師に改善されると予想されている。 しかし、敵対的堅牢性を考えると、教師は信頼できなくなり、敵対的蒸留は役に立たないかもしれない: 教師は自身の敵対的データで事前訓練されており、教師は生徒が問い合わせた全ての敵的データでも良いことを要求しすぎる。 そこで本稿では,教師を信頼する代わりに,一部学生を信頼する,信頼できる内省的逆境蒸留(iad)を提案する。 特に、IADは、自然データ(ND)と対応する逆データ(AD)のクエリが与えられた3つのケースを区別する: (a) 教師がADが得意で、そのSLが完全に信頼されている; (b) 教師がNDが得意だがADが得意でない場合は、そのSLが部分的に信頼されており、また、学生も自身のSLを考慮に入れている; (c) 生徒は独自のSLのみに依存している。 対向的堅牢性の観点から,教員に対するIADの有効性を実証する実験を行った。

関連論文リスト

• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Sparse Teachers Can Be Dense with Knowledge [35.83646432932867]
  本稿では,各教師パラメータに対する総合的知識スコアの指導の下で,スパースな教師のトリックを提案する。 学生が親しみやすいパラメータを除去しながら、表現的パラメータを確実に保持することを目的としている。 GLUEベンチマークの実験では、提案された疎外教師は知識に密着し、魅力的なパフォーマンスを持つ学生に導かれることが示されている。
  論文  参考訳（メタデータ） (2022-10-08T05:25:34Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Does Knowledge Distillation Really Work? [106.38447017262183]
  知識蒸留は学生の一般化を改善することができるが、一般的に理解されているようには機能しない。 学生が教師に合わない理由として,最適化の難しさがあげられる。
  論文  参考訳（メタデータ） (2021-06-10T17:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。