論文の概要: Learning Diverse-Structured Networks for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2102.01886v1
• Date: Wed, 3 Feb 2021 05:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:46:17.317673
• Title: Learning Diverse-Structured Networks for Adversarial Robustness
• Title（参考訳）: 対向ロバストネスのための多変数ネットワークの学習
• Authors: Xuefeng Du, Jingfeng Zhang, Bo Han, Tongliang Liu, Yu Rong, Gang Niu, Junzhou Huang, Masashi Sugiyama
• Abstract要約: 本稿では,検索空間のサイズを大幅に削減する多様構造ネットワーク(DS-Net)を提案する。 低レベルの操作の代わりに、原子ブロックがタイムテストされたビルディングブロックである、事前定義された原子ブロックのみを考慮する。 そのため、DS-Netの探索ブロックで最高の原子ブロックを見つけるのではなく、全ての原子ブロックを重み付けすることができる。
• 参考スコア（独自算出の注目度）: 143.3451672724794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In adversarial training (AT), the main focus has been the objective and optimizer while the model is less studied, so that the models being used are still those classic ones in standard training (ST). Classic network architectures (NA) are generally worse than searched NA in ST, which should be the same in AT. In this paper, we argue that NA and AT cannot be handled independently, since given a dataset, the optimal NA in ST would be no longer optimal in AT. That being said, AT is time-consuming itself; if we directly search NA in AT over large search spaces, the computation will be practically infeasible. Thus, we propose a diverse-structured network (DS-Net), to significantly reduce the size of the search space: instead of low-level operations, we only consider predefined atomic blocks, where an atomic block is a time-tested building block like the residual block. There are only a few atomic blocks and thus we can weight all atomic blocks rather than find the best atomic block in a searched block of DS-Net, which is an essential trade-off between exploring diverse structures and exploiting the best structures. Empirical results demonstrate the advantages of DS-Net, i.e., weighting the atomic blocks.
• Abstract（参考訳）: 対戦型トレーニング(AT)では、モデルがあまり研究されていない間、客観性と最適化が主な焦点であり、使用しているモデルは標準トレーニング(ST)における古典的なモデルである。 古典的なネットワークアーキテクチャ(NA)は、STで検索されたNAよりも一般的に悪いです。 本稿では、データセットが与えられた場合、STにおける最適なNAはATにおいてもはや最適ではないため、NAとATは独立に処理できないと論じる。 とはいえ、ATは時間を要するので、大規模な検索空間上でATでNAを直接検索すると、計算は事実上不可能になります。 そこで我々は,低レベルな演算ではなく,原子ブロックが残留ブロックのような時間テストされたビルディングブロックであるような,事前定義された原子ブロックのみを考慮し,探索空間の規模を大幅に削減する多様構造ネットワーク(DS-Net)を提案する。 原子ブロックは数個しかないので、ds-netの探索ブロックの中で最良の原子ブロックを見つけるのではなく、すべての原子ブロックを重み付けすることができる。 実験結果はDS-Netの利点、すなわち原子ブロックの重み付けを示す。

関連論文リスト

• When Do Neural Nets Outperform Boosted Trees on Tabular Data? [65.30290020731825]
  私たちは一歩後退して、'NN vs. GBDT'議論の重要性に疑問を投げかけます。 驚くほど多くのデータセットに対して、GBDTとNNのパフォーマンスの違いは無視できる。 我々は、データセットのどの特性がNNやGBDTを適切に動作させるために適しているかを決定するために、数十のメタ機能を分析します。 私たちの洞察は、実践者がデータセット上で最もうまく機能するテクニックを決定するためのガイドとして機能します。
  論文  参考訳（メタデータ） (2023-05-04T17:04:41Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• DAS: Neural Architecture Search via Distinguishing Activation Score [21.711985665733653]
  ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。 Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。 提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
  論文  参考訳（メタデータ） (2022-12-23T04:02:46Z)
• BLOX: Macro Neural Architecture Search Benchmark and Algorithms [16.296454205012733]
  ニューラルアーキテクチャサーチ(NAS)は、多数の高性能ニューラルネットワークの設計に成功している。 NASは一般に計算集約的であるため、既存のほとんどのアプローチでは、単一のブロックの操作と位相構造を決定するために探索を制限している。 近年の研究では、モデル内のブロックが異なることができるマクロ検索空間が、より良い性能をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-13T18:06:39Z)
• AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
  空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。 また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
  論文  参考訳（メタデータ） (2021-08-06T08:31:42Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Improving Neural Network with Uniform Sparse Connectivity [0.0]
  本研究では,各層に均一かつ疎結合な一様スパースネットワーク(USN)を提案する。 USNは、予測精度、速度、堅牢性において最先端のスパースネットワークモデルより一貫して、実質的に優れている。
  論文  参考訳（メタデータ） (2020-11-29T19:00:05Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。