Fugu-MT 論文翻訳(概要): Feature Distillation With Guided Adversarial Contrastive Learning

論文の概要: Feature Distillation With Guided Adversarial Contrastive Learning

arxiv url: http://arxiv.org/abs/2009.09922v1
Date: Mon, 21 Sep 2020 14:46:17 GMT
ステータス: 処理完了
システム内更新日: 2022-10-16 04:14:13.318871
Title: Feature Distillation With Guided Adversarial Contrastive Learning
Title（参考訳）: 対人コントラスト学習の指導による特徴拡張
Authors: Tao Bai, Jinnan Chen, Jun Zhao, Bihan Wen, Xudong Jiang, Alex Kot
Abstract要約: 本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
参考スコア（独自算出の注目度）: 41.28710294669751
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning models are shown to be vulnerable to adversarial examples. Though adversarial training can enhance model robustness, typical approaches are computationally expensive. Recent works proposed to transfer the robustness to adversarial attacks across different tasks or models with soft labels.Compared to soft labels, feature contains rich semantic information and holds the potential to be applied to different downstream tasks. In this paper, we propose a novel approach called Guided Adversarial Contrastive Distillation (GACD), to effectively transfer adversarial robustness from teacher to student with features. We first formulate this objective as contrastive learning and connect it with mutual information. With a well-trained teacher model as an anchor, students are expected to extract features similar to the teacher. Then considering the potential errors made by teachers, we propose sample reweighted estimation to eliminate the negative effects from teachers. With GACD, the student not only learns to extract robust features, but also captures structural knowledge from the teacher. By extensive experiments evaluating over popular datasets such as CIFAR-10, CIFAR-100 and STL-10, we demonstrate that our approach can effectively transfer robustness across different models and even different tasks, and achieve comparable or better results than existing methods. Besides, we provide a detailed analysis of various methods, showing that students produced by our approach capture more structural knowledge from teachers and learn more robust features under adversarial attacks.
Abstract（参考訳）: ディープラーニングモデルは、敵の例に弱いことが示されている。逆行訓練はモデルの堅牢性を高めることができるが、典型的なアプローチは計算コストが高い。近年,ソフトラベルの異なるタスクやモデルにまたがる攻撃に対して,ロバスト性を伝達する研究が提案されている。本稿では,教師から生徒へ対人ロバスト性を効果的に伝達する,GACD ( Guided Adversarial Contrastive Distillation) という新しい手法を提案する。まず、この目的をコントラスト学習として定式化し、相互情報と結びつける。アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。そこで,教師の潜在的な誤りを考慮し,教師の悪影響を排除すべく,サンプル再重み付け推定を提案する。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。 CIFAR-10, CIFAR-100, STL-10などの一般的なデータセットを対象とする広範囲な実験により, 本手法は, 異なるモデルやタスクをまたいだロバストネスを効果的に伝達し, 既存の手法と同等あるいは優れた結果が得られることを示した。また,様々な方法の詳細な分析を行い,本手法で構築した学生が教師から構造的知識を取り込み,敵の攻撃下でより強固な特徴を身につけることを示した。

関連論文リスト

Relational Representation Distillation [6.24302896438145]
本稿では,教師モデルと学生モデルの関係を探求し,強化するためにRepresentation Distillation (RRD)を導入する。自己監督学習の原則に触発されて、正確な複製と類似性に焦点を当てた、リラックスした対照的な損失を使用する。我々は,CIFAR-100とImageNet ILSVRC-2012において優れた性能を示し,KDと組み合わせた場合,教師ネットワークよりも優れた性能を示す。
論文参考訳（メタデータ） (2024-07-16T14:56:13Z)
Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
頑健さは逆行訓練を受けた教師から知識蒸留を用いて生徒モデルに移行できる異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
論文参考訳（メタデータ） (2024-02-23T19:55:13Z)
Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文参考訳（メタデータ） (2023-12-06T04:38:02Z)
Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。知識蒸留は教師から知識を抽出し、対象モデルと統合する。教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
論文参考訳（メタデータ） (2022-05-04T06:49:47Z)
On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文参考訳（メタデータ） (2022-03-14T15:02:13Z)
Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文参考訳（メタデータ） (2021-12-09T15:59:42Z)
Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
論文参考訳（メタデータ） (2021-05-29T07:28:35Z)
Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
論文参考訳（メタデータ） (2021-02-25T20:54:24Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。