論文の概要: Robust Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2304.02845v1
• Date: Thu, 6 Apr 2023 03:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:24:22.382055
• Title: Robust Neural Architecture Search
• Title（参考訳）: 頑強なニューラルアーキテクチャ探索
• Authors: Xunyu Zhu, Jian Li, Yong Liu, Weiping Wang
• Abstract要約: 我々は、新しいNAS手法、Robust Neural Architecture Search (RNAS)を提案する。 精度とロバスト性のバランスをとるために正規化項を設計するために、RNASは高い精度と良好なロバスト性の両方でアーキテクチャを生成する。 実験により、RNASは画像分類と敵攻撃の両方において最先端(SOTA)性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 19.214462477848535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architectures Search (NAS) becomes more and more popular over these years. However, NAS-generated models tends to suffer greater vulnerability to various malicious attacks. Lots of robust NAS methods leverage adversarial training to enhance the robustness of NAS-generated models, however, they neglected the nature accuracy of NAS-generated models. In our paper, we propose a novel NAS method, Robust Neural Architecture Search (RNAS). To design a regularization term to balance accuracy and robustness, RNAS generates architectures with both high accuracy and good robustness. To reduce search cost, we further propose to use noise examples instead adversarial examples as input to search architectures. Extensive experiments show that RNAS achieves state-of-the-art (SOTA) performance on both image classification and adversarial attacks, which illustrates the proposed RNAS achieves a good tradeoff between robustness and accuracy.
• Abstract（参考訳）: ニューラルネットワーク検索(NAS)は、近年ますます人気が高まっている。 しかし、NAS生成モデルは、様々な悪意のある攻撃に対してより大きな脆弱性を被る傾向にある。 頑健なNAS手法の多くは、NAS生成モデルの堅牢性を高めるために敵の訓練を利用するが、NAS生成モデルの性質精度を無視した。 本稿では,新しいNAS手法であるRobust Neural Architecture Search (RNAS)を提案する。 精度とロバスト性のバランスをとるために正規化項を設計するために、RNASは高い精度と良好なロバスト性の両方でアーキテクチャを生成する。 検索コストを削減するため,我々はさらに,検索アーキテクチャへの入力として,逆の例の代わりにノイズ例を用いるように提案する。 大規模な実験により、RNASは画像分類と敵攻撃の両方において最先端(SOTA)性能を達成し、提案したRNASが堅牢性と精度の良好なトレードオフを達成することを示す。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• FlatNAS: optimizing Flatness in Neural Architecture Search for Out-of-Distribution Robustness [3.724847012963521]
  本研究では、FlatNAS(Flat Neural Architecture Search)と呼ばれる新しいNASソリューションを提案する。 シャープネス・アウェア・ミニマライゼーション(SAM)を用いた1つのNN最適化と頑健さから重みへの摂動に基づく新しいメリット像の相互作用を探索する。 NAS設計モデルのOODロバスト性は、文献における一般的なベンチマークデータセットを用いて、入力データの破損に対するロバスト性に着目して評価される。
  論文  参考訳（メタデータ） (2024-02-29T12:33:14Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
  ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。 本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。 提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-05-21T08:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。