論文の概要: Adversarially Robust Neural Architectures

• arxiv url: http://arxiv.org/abs/2009.00902v1
• Date: Wed, 2 Sep 2020 08:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 19:20:27.549650
• Title: Adversarially Robust Neural Architectures
• Title（参考訳）: 逆ロバストニューラルネットワーク
• Authors: Minjing Dong, Yanxi Li, Yunhe Wang and Chang Xu
• Abstract要約: 本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
• 参考スコア（独自算出の注目度）: 43.74185132684662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Network (DNN) are vulnerable to adversarial attack. Existing methods are devoted to developing various robust training strategies or regularizations to update the weights of the neural network. But beyond the weights, the overall structure and information flow in the network are explicitly determined by the neural architecture, which remains unexplored. This paper thus aims to improve the adversarial robustness of the network from the architecture perspective with NAS framework. We explore the relationship among adversarial robustness, Lipschitz constant, and architecture parameters and show that an appropriate constraint on architecture parameters could reduce the Lipschitz constant to further improve the robustness. For NAS framework, all the architecture parameters are equally treated when the discrete architecture is sampled from supernet. However, the importance of architecture parameters could vary from operation to operation or connection to connection, which is not explored and might reduce the confidence of robust architecture sampling. Thus, we propose to sample architecture parameters from trainable multivariate log-normal distributions, with which the Lipschitz constant of entire network can be approximated using a univariate log-normal distribution with mean and variance related to architecture parameters. Compared with adversarially trained neural architectures searched by various NAS algorithms as well as efficient human-designed models, our algorithm empirically achieves the best performance among all the models under various attacks on different datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。 既存の方法は、ニューラルネットワークの重みを更新するために、さまざまな堅牢なトレーニング戦略や正規化を開発することに集中しています。 しかし、重みを超えて、ネットワーク全体の構造と情報フローは、神経アーキテクチャによって明示的に決定されます。 本稿では,nasフレームワークを用いたアーキテクチャの観点から,ネットワークの対向的ロバスト性を改善することを目的とする。 逆ロバスト性,リプシッツ定数,アーキテクチャパラメータの関係を調査し,アーキテクチャパラメータに対する適切な制約によってリプシッツ定数が減少し,ロバスト性がさらに向上することを示す。 NASフレームワークでは、すべてのアーキテクチャパラメータは、スーパーネットから個別のアーキテクチャをサンプリングする場合に等しく扱われる。 しかし、アーキテクチャパラメータの重要性は、運用から運用、接続まで様々であり、これは調査されず、堅牢なアーキテクチャサンプリングの信頼性を低下させる可能性がある。 そこで,本論文では,ネットワーク全体のリプシッツ定数を,アーキテクチャパラメータに関連する平均と分散を考慮した単変量対数正規分布を用いて近似できる,訓練可能な多変量対数正規分布から,アーキテクチャパラメータをサンプリングする。 様々なNASアルゴリズムと効率的な人間設計モデルによって探索された敵意的に訓練されたニューラルネットワークと比較して、我々のアルゴリズムは異なるデータセットに対する様々な攻撃の下で、すべてのモデルの中で最高の性能を実証的に達成する。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。