論文の概要: PeerAiD: Improving Adversarial Distillation from a Specialized Peer Tutor
- arxiv url: http://arxiv.org/abs/2403.06668v3
- Date: Fri, 17 May 2024 05:29:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 18:22:03.478679
- Title: PeerAiD: Improving Adversarial Distillation from a Specialized Peer Tutor
- Title（参考訳）: PeerAiD:特化ピアチュータによる対向蒸留の改善
- Authors: Jaewon Jung, Hongsun Jang, Jaeyong Song, Jinho Lee,
- Abstract要約: ニューラルネットワークの敵対的堅牢性は、セキュリティクリティカルなドメインに適用される際の重要な関心事である。
従来の研究は教師ネットワークを事前訓練し、それ自身が目指す敵の例に対して堅牢にすることを目的としていた。
本稿では,PierAiDを提案することで,ピアネットワークが学生ネットワークの対角的な例を学習できるようにする。
- 参考スコア（独自算出の注目度）: 6.089685202183291
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adversarial robustness of the neural network is a significant concern when it is applied to security-critical domains. In this situation, adversarial distillation is a promising option which aims to distill the robustness of the teacher network to improve the robustness of a small student network. Previous works pretrain the teacher network to make it robust against the adversarial examples aimed at itself. However, the adversarial examples are dependent on the parameters of the target network. The fixed teacher network inevitably degrades its robustness against the unseen transferred adversarial examples which target the parameters of the student network in the adversarial distillation process. We propose PeerAiD to make a peer network learn the adversarial examples of the student network instead of adversarial examples aimed at itself. PeerAiD is an adversarial distillation that trains the peer network and the student network simultaneously in order to specialize the peer network for defending the student network. We observe that such peer networks surpass the robustness of the pretrained robust teacher model against adversarial examples aimed at the student network. With this peer network and adversarial distillation, PeerAiD achieves significantly higher robustness of the student network with AutoAttack (AA) accuracy by up to 1.66%p and improves the natural accuracy of the student network by up to 4.72%p with ResNet-18 on TinyImageNet dataset. Code is available at https://github.com/jaewonalive/PeerAiD.
- Abstract（参考訳）: ニューラルネットワークの敵対的堅牢性は、セキュリティクリティカルなドメインに適用される際の重要な関心事である。
このような状況下では,教師ネットワークのロバスト性を蒸留し,小学生ネットワークのロバスト性を向上することを目的とした,対人蒸留が有望な選択肢である。
従来の研究は教師ネットワークを事前訓練し、それ自身が目指す敵の例に対して堅牢にすることを目的としていた。
しかし、敵の例は対象ネットワークのパラメータに依存する。
固定教師ネットワークは、反対蒸留プロセスにおいて、生徒ネットワークのパラメータをターゲットとした、見知らぬ転向敵の例に対して、必然的にその堅牢性を低下させる。
本稿では,PierAiDを提案することで,ピアネットワークが学生ネットワークの対角的な例を学習できるようにする。
PeerAiDは、学生ネットワークを守るためのピアネットワークを専門化するために、ピアネットワークと学生ネットワークを同時に訓練する逆蒸留である。
このようなピアネットワークは、学生ネットワークを対象とする敵対的事例に対して、事前訓練された頑健な教師モデルの堅牢性を上回ることが観察された。
このピアネットワークと反対蒸留により、PeerAiDはAutoAttack(AA)の精度を1.66%まで向上し、TinyImageNetデータセット上でResNet-18で4.72%まで向上する。
コードはhttps://github.com/jaewonalive/PeerAiD.comで入手できる。
関連論文リスト
- Adaptive Teaching with Shared Classifier for Knowledge Distillation [6.03477652126575]
知識蒸留(KD)は、教師ネットワークから学生ネットワークへ知識を伝達する技術である。
共有分類器(ATSC)を用いた適応型授業を提案する。
提案手法は,CIFAR-100とImageNetのデータセットに対して,単教師と多教師の両方のシナリオで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-06-12T08:51:08Z) - Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる
異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。
ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
論文 参考訳（メタデータ） (2024-02-23T19:55:13Z) - Opinion Control under Adversarial Network Perturbation: A Stackelberg
Game Approach [12.916992671437017]
敵ネットワークの摂動は 世論形成に大きな影響を与え 我々の社会を脅かす
本研究では,敵ネットワークの摂動をモデル化し,その影響をネットワークの意見として分析する。
敵の立場から、我々はStackelbergのゲームを定式化し、そのような敵のネットワーク摂動の下でもネットワークの意見を制御することを目指している。
論文 参考訳（メタデータ） (2023-04-25T03:14:39Z) - Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student
Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。
学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-30T02:51:36Z) - Improving Corruption and Adversarial Robustness by Enhancing Weak
Subnets [91.9346332103637]
本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。
具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。
EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
論文 参考訳（メタデータ） (2022-01-30T09:36:19Z) - Faster Deep Reinforcement Learning with Slower Online Network [90.34900072689618]
DQNとRainbowという2つの人気のあるディープ強化学習アルゴリズムに、オンラインネットワークをターゲットネットワークの近くに留まらせるインセンティブを与えるアップデートを与えました。
その結果、DQN ProとRainbow Proと呼ばれるエージェントは、Atariベンチマークで元のエージェントよりも大幅に性能が向上した。
論文 参考訳（メタデータ） (2021-12-10T22:07:06Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - Robust Ensembling Network for Unsupervised Domain Adaptation [20.152004296679138]
教師なしドメイン適応(UDA)のためのRobust Ensembling Network(REN)を提案する。
RENは主に教師ネットワークと学生ネットワークを含み、標準的なドメイン適応トレーニングを実行し、教師ネットワークの重みを更新する。
学生ネットワークの基本能力を向上させるために,学生ネットワークと教師ネットワークの誤りのバランスをとるために,一貫性制約を利用する。
論文 参考訳（メタデータ） (2021-08-21T09:19:13Z) - PQK: Model Compression via Pruning, Quantization, and Knowledge
Distillation [43.45412122086056]
本稿では, プルーニング, 量子化, 知識蒸留プロセスからなるPQKと呼ばれる新しいモデル圧縮手法を提案する。
PQKは、教師モデルを事前訓練することなく、より良い学生ネットワークをトレーニングするための教師ネットワークを構築するために、刈り込みプロセスで刈り取られた重要でない重量を利用する。
本手法を認識モデルに適用し,キーワードスポッティング(KWS)と画像認識におけるPQKの有効性を検証する。
論文 参考訳（メタデータ） (2021-06-25T07:24:53Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳（メタデータ） (2020-06-13T16:55:51Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。