論文の概要: PeerAiD: Improving Adversarial Distillation from a Specialized Peer
Tutor
- arxiv url: http://arxiv.org/abs/2403.06668v1
- Date: Mon, 11 Mar 2024 12:36:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:14:44.660650
- Title: PeerAiD: Improving Adversarial Distillation from a Specialized Peer
Tutor
- Title(参考訳): PeerAiD:特化ピアチュータによる対向蒸留の改善
- Authors: Jaewon Jung, Hongsun Jang, Jaeyong Song, Jinho Lee
- Abstract要約: ニューラルネットワークの敵対的堅牢性は、セキュリティクリティカルなドメインに適用される際の重要な関心事である。
従来の研究は教師ネットワークを事前訓練し、それ自身が目指す敵の例に頑丈にしている。
本稿では,PierAiDを提案することで,ピアネットワークが学生ネットワークの対角的な例を学習できるようにする。
- 参考スコア(独自算出の注目度): 6.652543603383159
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adversarial robustness of the neural network is a significant concern when it
is applied to security-critical domains. In this situation, adversarial
distillation is a promising option which aims to distill the robustness of the
teacher network to improve the robustness of a small student network. Previous
works pretrain the teacher network to make it robust to the adversarial
examples aimed at itself. However, the adversarial examples are dependent on
the parameters of the target network. The fixed teacher network inevitably
degrades its robustness against the unseen transferred adversarial examples
which targets the parameters of the student network in the adversarial
distillation process. We propose PeerAiD to make a peer network learn the
adversarial examples of the student network instead of adversarial examples
aimed at itself. PeerAiD is an adversarial distillation that trains the peer
network and the student network simultaneously in order to make the peer
network specialized for defending the student network. We observe that such
peer networks surpass the robustness of pretrained robust teacher network
against student-attacked adversarial samples. With this peer network and
adversarial distillation, PeerAiD achieves significantly higher robustness of
the student network with AutoAttack (AA) accuracy up to 1.66%p and improves the
natural accuracy of the student network up to 4.72%p with ResNet-18 and
TinyImageNet dataset.
- Abstract(参考訳): ニューラルネットワークの敵対的堅牢性は、セキュリティクリティカルなドメインに適用される場合に重要な関心事である。
このような状況下では,教師ネットワークのロバスト性を蒸留し,小学生ネットワークのロバスト性を向上することを目的とした,対人蒸留が有望な選択肢である。
従来の研究は教師ネットワークを事前訓練し、それ自身が目指す敵の例に頑丈にしている。
しかし、敵の例はターゲットネットワークのパラメータに依存する。
固定教師ネットワークは、必然的に、逆蒸留過程において学生ネットワークのパラメータを対象とする、無防備な転向例に対する頑健性を低下させる。
本稿では,PierAiDを提案することで,ピアネットワークが学生ネットワークの対角的な例を学習できるようにする。
peeraid(ピアエイド)は、ピアネットワークと学生ネットワークを同時に訓練し、ピアネットワークを学生ネットワークの防御に特化する逆蒸留である。
このようなピアネットワークは,事前学習された教師ネットワークの頑健さを,学生が攻撃した敵対的サンプルに対して上回っていた。
このピアネットワークと逆蒸留により、peeraidはオートアタック(aa)精度を1.66%まで向上させ、resnet-18とtinyimagenetデータセットで学生ネットワークの自然精度を4.72%pまで向上させる。
関連論文リスト
- Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる
異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。
ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
論文 参考訳(メタデータ) (2024-02-23T19:55:13Z) - GanFinger: GAN-Based Fingerprint Generation for Deep Neural Network
Ownership Verification [8.00359513511764]
本稿では,ネットワークの動作に基づいてネットワーク指紋を構築するために,GanFingerというネットワークフィンガープリント手法を提案する。
GanFingerは、効率性、ステルス性、差別性において最先端の技術を著しく上回っている。
指紋生成では6.57倍の速度でARUC値が0.175に向上し、相対的に約26%向上した。
論文 参考訳(メタデータ) (2023-12-25T05:35:57Z) - Opinion Control under Adversarial Network Perturbation: A Stackelberg
Game Approach [12.916992671437017]
敵ネットワークの摂動は 世論形成に大きな影響を与え 我々の社会を脅かす
本研究では,敵ネットワークの摂動をモデル化し,その影響をネットワークの意見として分析する。
敵の立場から、我々はStackelbergのゲームを定式化し、そのような敵のネットワーク摂動の下でもネットワークの意見を制御することを目指している。
論文 参考訳(メタデータ) (2023-04-25T03:14:39Z) - Improving Corruption and Adversarial Robustness by Enhancing Weak
Subnets [91.9346332103637]
本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。
具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。
EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
論文 参考訳(メタデータ) (2022-01-30T09:36:19Z) - Robust Ensembling Network for Unsupervised Domain Adaptation [20.152004296679138]
教師なしドメイン適応(UDA)のためのRobust Ensembling Network(REN)を提案する。
RENは主に教師ネットワークと学生ネットワークを含み、標準的なドメイン適応トレーニングを実行し、教師ネットワークの重みを更新する。
学生ネットワークの基本能力を向上させるために,学生ネットワークと教師ネットワークの誤りのバランスをとるために,一貫性制約を利用する。
論文 参考訳(メタデータ) (2021-08-21T09:19:13Z) - Adversarial Attack on Network Embeddings via Supervised Network
Poisoning [20.583791500831147]
本稿では,ネットワーク埋め込みアルゴリズムを敵視点から検討し,下流作業におけるネットワーク汚染の影響を観察する。
独自のネットワーク構造で最先端の中毒法を最大18%上回る監視ネットワーク中毒戦略「VIKING」を提案します。
論文 参考訳(メタデータ) (2021-02-14T14:47:39Z) - Point Adversarial Self Mining: A Simple Method for Facial Expression
Recognition [79.75964372862279]
本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。
PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。
適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
論文 参考訳(メタデータ) (2020-08-26T06:39:24Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳(メタデータ) (2020-06-13T16:55:51Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-04-01T09:31:10Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳(メタデータ) (2020-03-02T18:27:35Z) - HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。
そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。
HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
論文 参考訳(メタデータ) (2020-02-24T19:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。