論文の概要: Towards Robust Neural Networks via Orthogonal Diversity
- arxiv url: http://arxiv.org/abs/2010.12190v5
- Date: Tue, 16 Jan 2024 02:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 22:37:50.086044
- Title: Towards Robust Neural Networks via Orthogonal Diversity
- Title（参考訳）: 直交多様性を利用したロバストニューラルネットワーク
- Authors: Kun Fang, Qinghua Tao, Yingwen Wu, Tao Li, Jia Cai, Feipeng Cai,
Xiaolin Huang and Jie Yang
- Abstract要約: 敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。
本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。
このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
- 参考スコア（独自算出の注目度）: 30.77473391842894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) are vulnerable to invisible perturbations on the
images generated by adversarial attacks, which raises researches on the
adversarial robustness of DNNs. A series of methods represented by the
adversarial training and its variants have proven as one of the most effective
techniques in enhancing the DNN robustness. Generally, adversarial training
focuses on enriching the training data by involving perturbed data. Such data
augmentation effect of the involved perturbed data in adversarial training does
not contribute to the robustness of DNN itself and usually suffers from clean
accuracy drop. Towards the robustness of DNN itself, we in this paper propose a
novel defense that aims at augmenting the model in order to learn features that
are adaptive to diverse inputs, including adversarial examples. More
specifically, to augment the model, multiple paths are embedded into the
network, and an orthogonality constraint is imposed on these paths to guarantee
the diversity among them. A margin-maximization loss is then designed to
further boost such DIversity via Orthogonality (DIO). In this way, the proposed
DIO augments the model and enhances the robustness of DNN itself as the learned
features can be corrected by these mutually-orthogonal paths. Extensive
empirical results on various data sets, structures and attacks verify the
stronger adversarial robustness of the proposed DIO utilizing model
augmentation. Besides, DIO can also be flexibly combined with different data
augmentation techniques (e.g., TRADES and DDPM), further promoting robustness
gains.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵対的攻撃によって生成された画像に対する目に見えない摂動に対して脆弱であり、DNNの敵対的堅牢性に関する研究を提起する。
敵の訓練とその変種に代表される一連の手法は、DNNの堅牢性を高める最も効果的な手法の1つとして証明されている。
一般的に、逆行訓練は、摂動データを含むことによりトレーニングデータを強化することに焦点を当てる。
逆行訓練における摂動データのこのようなデータ増大効果は、DNN自体の堅牢性に寄与せず、通常はクリーンな精度低下に悩まされる。
本稿では, DNN自体の堅牢性に向けて, 対戦型事例を含む多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防衛法を提案する。
より具体的には、モデルを強化するために、複数のパスがネットワークに埋め込まれ、それらのパスに直交性の制約が課され、それらの多様性が保証される。
マージン最大化損失は、直交性(DIO)を介してそのような多様性をさらに高めるよう設計される。
このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
各種データセット, 構造, 攻撃に対する広範な実験結果から, モデル拡張を用いた提案したDIOの強い対向ロバスト性を検証した。
さらに、DIOは様々なデータ拡張技術(TRADESやDDPMなど)と柔軟に組み合わせて、堅牢性の向上を促進することもできる。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Tighter Bounds on the Information Bottleneck with Application to Deep
Learning [6.206127662604578]
Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。
Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。
近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
論文 参考訳（メタデータ） (2024-02-12T13:24:32Z) - Common Knowledge Learning for Generating Transferable Adversarial
Examples [60.1287733223249]
本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。
既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。
本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-01T09:07:12Z) - AccelAT: A Framework for Accelerating the Adversarial Training of Deep
Neural Networks through Accuracy Gradient [12.118084418840152]
アドリヤトレーニングを利用して、悪意のある変更データに対する堅牢なディープニューラルネットワーク(DNN)モデルを開発する。
本研究の目的は、敵の攻撃に対して堅牢なDNNモデルの迅速な開発を可能にするために、敵の訓練を加速することである。
論文 参考訳（メタデータ） (2022-10-13T10:31:51Z) - Boosting Adversarial Robustness From The Perspective of Effective Margin
Regularization [58.641705224371876]
ディープニューラルネットワーク(DNN)の敵対的脆弱性は、ここ数年で積極的に研究されている。
本稿では,クロスエントロピー損失のスケール変動特性について検討する。
提案した有効マージン正則化(EMR)は,大きな有効マージンを学習し,標準トレーニングと対向トレーニングの両方において対向的ロバスト性を高めることを示す。
論文 参考訳（メタデータ） (2022-10-11T03:16:56Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-08T07:40:55Z) - A Mask-Based Adversarial Defense Scheme [3.759725391906588]
敵対的攻撃はディープニューラルネットワーク(DNN)の機能と精度を妨げる
敵攻撃による負の効果を軽減するため,DNNのためのMask-based Adversarial Defense scheme (MAD)を提案する。
論文 参考訳（メタデータ） (2022-04-21T12:55:27Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-27T19:58:06Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳（メタデータ） (2020-08-18T10:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。