Fugu-MT 論文翻訳(概要): Differentiable Search of Accurate and Robust Architectures

論文の概要: Differentiable Search of Accurate and Robust Architectures

arxiv url: http://arxiv.org/abs/2212.14049v1
Date: Wed, 28 Dec 2022 08:36:36 GMT
ステータス: 処理完了
システム内更新日: 2023-01-02 15:55:35.768610
Title: Differentiable Search of Accurate and Robust Architectures
Title（参考訳）: 正確なロバストアーキテクチャの微分可能探索
Authors: Yuwei Ou, Xiangning Xie, Shangce Gao, Yanan Sun, Kay Chen Tan, Jiancheng Lv
Abstract要約: 敵の訓練は単純さと有効性から注目を集めていますディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
参考スコア（独自算出の注目度）: 22.435774101990752
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) are found to be vulnerable to adversarial attacks, and various methods have been proposed for the defense. Among these methods, adversarial training has been drawing increasing attention because of its simplicity and effectiveness. However, the performance of the adversarial training is greatly limited by the architectures of target DNNs, which often makes the resulting DNNs with poor accuracy and unsatisfactory robustness. To address this problem, we propose DSARA to automatically search for the neural architectures that are accurate and robust after adversarial training. In particular, we design a novel cell-based search space specially for adversarial training, which improves the accuracy and the robustness upper bound of the searched architectures by carefully designing the placement of the cells and the proportional relationship of the filter numbers. Then we propose a two-stage search strategy to search for both accurate and robust neural architectures. At the first stage, the architecture parameters are optimized to minimize the adversarial loss, which makes full use of the effectiveness of the adversarial training in enhancing the robustness. At the second stage, the architecture parameters are optimized to minimize both the natural loss and the adversarial loss utilizing the proposed multi-objective adversarial training method, so that the searched neural architectures are both accurate and robust. We evaluate the proposed algorithm under natural data and various adversarial attacks, which reveals the superiority of the proposed method in terms of both accurate and robust architectures. We also conclude that accurate and robust neural architectures tend to deploy very different structures near the input and the output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust neural architectures.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが判明し、防衛のために様々な方法が提案されている。これらの方法のうち、敵の訓練はその単純さと有効性から、ますます注目を集めている。しかし,対象dnnのアーキテクチャによって,対向訓練の性能は大幅に制限されており,結果として生じるdnnは精度が低く,堅牢性が不十分であることが多い。この問題に対処するために、DSARAは、敵の訓練後に正確で堅牢なニューラルネットワークアーキテクチャを自動検索する。特に, セル配置とフィルタ数との比例関係を慎重に設計することにより, 探索アーキテクチャの精度とロバスト性の向上を図った, 対角訓練に特化した新規なセルベース探索空間を設計する。次に, 精度とロバストの両方のニューラルネットワークを探索する二段階探索戦略を提案する。最初の段階では、アーキテクチャパラメータを最適化して、敵の損失を最小限に抑え、強靭性を高めるための敵のトレーニングの有効性を最大限に活用する。第2段階では,提案した多目的対向学習手法を用いて,自然損失と対向損失の両方を最小限に抑え,探索されたニューラルアーキテクチャが正確かつ堅牢であるように,アーキテクチャパラメータを最適化する。本研究では,提案手法の精度とロバスト性の両方において,提案手法の優越性を明らかにするため,自然データと様々な敵の攻撃の下で提案アルゴリズムを評価する。また、正確でロバストなニューラルアーキテクチャは入力と出力の近くに非常に異なる構造を配置する傾向があり、これは手作りと正確でロバストなニューラルアーキテクチャの自動設計の両方において非常に実用的な意味を持つ。

関連論文リスト

Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness [32.914986455418]
本稿では, 対数対数対数ロバスト性に対する強化圧縮型ニューラルネットワーク探索(RC-NAS)を提案する。具体的には、データセット、敵攻撃、教師ネットワーク情報を構成するタスク設定を定義する。実験により、我々のフレームワークは、異なる初期教師ネットワーク、データセット、および敵攻撃に対して適応的な圧縮を実現することができることが示された。
論文参考訳（メタデータ） (2024-06-10T20:59:52Z)
Towards Accurate and Robust Architectures via Neural Architecture Search [3.4014222238829497]
対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
論文参考訳（メタデータ） (2024-05-09T02:16:50Z)
A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文参考訳（メタデータ） (2023-02-28T04:26:20Z)
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures [19.173285459139592]
本稿では,双方向多目的ニューラルアーキテクチャ探索手法を提案する。低忠実度性能予測器に加えて,高忠実度評価で訓練された代理モデルの出力を補助対象として活用する。提案手法の有効性は, CIFAR-10, CIFAR-100, SVHNデータセットを用いた広範囲な実験により確認された。
論文参考訳（メタデータ） (2022-07-12T05:26:09Z)
Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文参考訳（メタデータ） (2022-03-31T10:16:10Z)
Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文参考訳（メタデータ） (2021-10-07T23:13:33Z)
RobustART: Benchmarking Robustness on Architecture Design and Training Techniques [170.3297213957074]
ディープニューラルネットワーク(DNN)は敵の雑音に弱い。アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。本稿では,ImageNet上での包括性調査ベンチマークを提案する。
論文参考訳（メタデータ） (2021-09-11T08:01:14Z)
Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文参考訳（メタデータ） (2021-08-16T03:58:00Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
論文参考訳（メタデータ） (2020-12-11T04:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。