論文の概要: Neural Architecture Design and Robustness: A Dataset
- arxiv url: http://arxiv.org/abs/2306.06712v1
- Date: Sun, 11 Jun 2023 16:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 17:05:25.480078
- Title: Neural Architecture Design and Robustness: A Dataset
- Title（参考訳）: ニューラルアーキテクチャ設計とロバストネス:データセット
- Authors: Steffen Jung, Jovita Lukasik, Margret Keuper
- Abstract要約: ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。
我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。
ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
- 参考スコア（独自算出の注目度）: 11.83842808044211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models have proven to be successful in a wide range of machine
learning tasks. Yet, they are often highly sensitive to perturbations on the
input data which can lead to incorrect decisions with high confidence,
hampering their deployment for practical use-cases. Thus, finding architectures
that are (more) robust against perturbations has received much attention in
recent years. Just like the search for well-performing architectures in terms
of clean accuracy, this usually involves a tedious trial-and-error process with
one additional challenge: the evaluation of a network's robustness is
significantly more expensive than its evaluation for clean accuracy. Thus, the
aim of this paper is to facilitate better streamlined research on architectural
design choices with respect to their impact on robustness as well as, for
example, the evaluation of surrogate measures for robustness. We therefore
borrow one of the most commonly considered search spaces for neural
architecture search for image classification, NAS-Bench-201, which contains a
manageable size of 6466 non-isomorphic network designs. We evaluate all these
networks on a range of common adversarial attacks and corruption types and
introduce a database on neural architecture design and robustness evaluations.
We further present three exemplary use cases of this dataset, in which we (i)
benchmark robustness measurements based on Jacobian and Hessian matrices for
their robustness predictability, (ii) perform neural architecture search on
robust accuracies, and (iii) provide an initial analysis of how architectural
design choices affect robustness. We find that carefully crafting the topology
of a network can have substantial impact on its robustness, where networks with
the same parameter count range in mean adversarial robust accuracy from
20%-41%. Code and data is available at http://robustness.vision/.
- Abstract（参考訳）: ディープラーニングモデルは、幅広い機械学習タスクで成功したことが証明されている。
しかし、彼らはしばしば入力データの摂動に非常に敏感で、誤った決定を高い信頼性で導き、実践的なユースケースへのデプロイメントを妨げます。
このように、摂動に対して(より多くの)堅牢なアーキテクチャを見つけることが近年注目を集めている。
クリーンな精度で優れたアーキテクチャを探索するのと同じように、これは通常、退屈な試行錯誤プロセスに1つの課題を伴う。
そこで本稿は,ロバスト性に対する影響,例えば,ロバスト性に対するサーロゲート尺度の評価に関して,建築設計の選択に関するより合理化された研究を促進することを目的とする。
そのため,画像分類のためのニューラルアーキテクチャ探索のための最も一般的な検索空間であるnas-bench-201(6466非同型ネットワーク設計)を借用した。
我々は,これらすべてのネットワークを共通の敵攻撃と腐敗タイプで評価し,ニューラルネットワークの設計とロバスト性評価に関するデータベースを導入する。
さらに、このデータセットの例示的なユースケースを3つ紹介します。
(i)ロバスト性予測性のためのヤコビ行列とヘッセン行列に基づくベンチマークロバスト性測定
(ii)ロバストなアキュラシーのニューラルアーキテクチャ探索を行い、
3) アーキテクチャ設計の選択が堅牢性にどのように影響するかを最初に分析する。
ネットワークのトポロジを慎重に構築することは、そのロバスト性に大きな影響を与え、同じパラメータ数を持つネットワークは、平均対向的ロバスト精度を20%から41%に抑えることができる。
コードとデータはhttp://robustness.vision/で入手できる。
関連論文リスト
- Hard Work Does Not Always Pay Off: Poisoning Attacks on Neural Architecture Search [20.258148613490132]
アーキテクチャ検索に使用するトレーニングデータに,データ中毒攻撃を注入する。
まず, 被害を誘発し, 準最適建築を創出する有害なサンプルを作成するための攻撃目標を定義した。
攻撃者が使用可能な手法として, 被毒試料の製作コストを大幅に削減する手法を提案する。
論文 参考訳（メタデータ） (2024-05-09T19:55:07Z) - Towards Accurate and Robust Architectures via Neural Architecture Search [3.4014222238829497]
対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。
本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
論文 参考訳（メタデータ） (2024-05-09T02:16:50Z) - Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。
また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
論文 参考訳（メタデータ） (2024-03-19T20:10:23Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
敵の訓練は 単純さと有効性から 注目を集めています
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。
本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
論文 参考訳（メタデータ） (2022-12-28T08:36:36Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。
堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。
我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
論文 参考訳（メタデータ） (2020-12-11T04:52:54Z) - A general framework for defining and optimizing robustness [74.67016173858497]
分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。
我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。
我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
論文 参考訳（メタデータ） (2020-06-19T13:24:20Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳（メタデータ） (2020-03-30T23:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。