Fugu-MT 論文翻訳(概要): DSRNA: Differentiable Search of Robust Neural Architectures

論文の概要: DSRNA: Differentiable Search of Robust Neural Architectures

arxiv url: http://arxiv.org/abs/2012.06122v1
Date: Fri, 11 Dec 2020 04:52:54 GMT
ステータス: 処理完了
システム内更新日: 2021-05-14 09:39:24.563370
Title: DSRNA: Differentiable Search of Robust Neural Architectures
Title（参考訳）: DSRNA:ロバストニューラルネットワークの微分検索
Authors: Ramtin Hosseini, Xingyi Yang and Pengtao Xie
Abstract要約: ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
参考スコア（独自算出の注目度）: 11.232234265070753
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In deep learning applications, the architectures of deep neural networks are crucial in achieving high accuracy. Many methods have been proposed to search for high-performance neural architectures automatically. However, these searched architectures are prone to adversarial attacks. A small perturbation of the input data can render the architecture to change prediction outcomes significantly. To address this problem, we propose methods to perform differentiable search of robust neural architectures. In our methods, two differentiable metrics are defined to measure architectures' robustness, based on certified lower bound and Jacobian norm bound. Then we search for robust architectures by maximizing the robustness metrics. Different from previous approaches which aim to improve architectures' robustness in an implicit way: performing adversarial training and injecting random noise, our methods explicitly and directly maximize robustness metrics to harvest robust architectures. On CIFAR-10, ImageNet, and MNIST, we perform game-based evaluation and verification-based evaluation on the robustness of our methods. The experimental results show that our methods 1) are more robust to various norm-bound attacks than several robust NAS baselines; 2) are more accurate than baselines when there are no attacks; 3) have significantly higher certified lower bounds than baselines.
Abstract（参考訳）: ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。高性能なニューラルアーキテクチャを自動検索する多くの手法が提案されている。しかし、これらの検索されたアーキテクチャは敵の攻撃を受けやすい。入力データの小さな摂動はアーキテクチャをレンダリングして予測結果を大きく変えることができる。そこで本研究では,ロバストなニューラルネットワークの可微分探索を行う手法を提案する。本手法では,認定下界とヤコビノルム境界に基づいて,アーキテクチャのロバスト性を測定するために2つの微分可能なメトリクスを定義する。次に、ロバスト性メトリクスを最大化することでロバストなアーキテクチャを探します。アーキテクチャのロバスト性を暗黙の方法で改善することを目的とした従来のアプローチとは違って,ロバストなアーキテクチャを抽出するためのロバスト性メトリクスを明示的にかつ直接的に最大化する手法である。 CIFAR-10, ImageNet, MNISTでは,本手法のロバスト性に関するゲームベース評価と検証ベース評価を行う。実験結果から,本手法はNASベースラインよりも各種のノルムバウンド攻撃に対して堅牢であること,攻撃がない場合のベースラインよりも精度が高いこと,および,ベースラインよりも高い認証下限を有することがわかった。

関連論文リスト

Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2023-06-11T16:02:14Z)
Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation [1.9100854225243937]
マルチファイダリティ評価(ES-CRNA-ME)による包括的強靭性ニューラルアーキテクチャの効率的な探索法を提案する。具体的には、まず、重み共有に基づくNAS法を用いて、複数のタイプの評価のもと、包括的に堅牢なアーキテクチャを探索する。相関分析によりロバスト性評価の回数を削減し、同様の評価を取り入れ、評価コストを削減できる。
論文参考訳（メタデータ） (2023-05-12T08:28:58Z)
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文参考訳（メタデータ） (2023-02-28T04:26:20Z)
Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
敵の訓練は単純さと有効性から注目を集めていますディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
論文参考訳（メタデータ） (2022-12-28T08:36:36Z)
Searching for Robust Neural Architectures via Comprehensive and Reliable Evaluation [6.612134996737988]
本稿では,ニューラルアーキテクチャの探索手法を応用した,AAD(Auto Adversarial Attack and Defense)と呼ばれる新しいフレームワークを提案する。本研究では, 対向雑音, 自然騒音, システム騒音, 定量化指標の4種類のロバスト性評価について検討する。 CIFAR10データセットの実証結果は、探索された効率的な攻撃がより堅牢なアーキテクチャを見つけるのに役立つことを示している。
論文参考訳（メタデータ） (2022-03-07T04:45:05Z)
RobustART: Benchmarking Robustness on Architecture Design and Training Techniques [170.3297213957074]
ディープニューラルネットワーク(DNN)は敵の雑音に弱い。アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。本稿では,ImageNet上での包括性調査ベンチマークを提案する。
論文参考訳（メタデータ） (2021-09-11T08:01:14Z)
Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文参考訳（メタデータ） (2021-08-16T03:58:00Z)
Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文参考訳（メタデータ） (2021-08-10T00:53:39Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文参考訳（メタデータ） (2020-09-02T08:52:15Z)
Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。