論文の概要: ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradients Accumulation

• arxiv url: http://arxiv.org/abs/2011.11233v1
• Date: Mon, 23 Nov 2020 06:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:09:38.022273
• Title: ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradients Accumulation
• Title（参考訳）: ROME:Topology DisentanglementとGradients Accumulationによるメモリ効率NASのロバスト化
• Authors: Xiaoxing Wang and Xiangxiang Chu and Yuda Fan and Zhexi Zhang and Xiaolin Wei and Junchi Yan and Xiaokang Yang
• Abstract要約: 単一パスに基づく微分可能なニューラルアーキテクチャ探索は、計算コストの低減とメモリフレンドリな性質に優れた長所がある。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。 提案手法は高い性能とロバスト性を有し,多数の標準ベンチマークで最先端の結果が得られた。
• 参考スコア（独自算出の注目度）: 107.5898558798429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-path based differentiable neural architecture search has great strengths for its low computational cost and memory-friendly nature. However, we surprisingly discover that it suffers from severe searching instability which has been primarily ignored, posing a potential weakness for a wider application. In this paper, we delve into its performance collapse issue and propose a new algorithm called RObustifying Memory-Efficient NAS (ROME). Specifically, 1) for consistent topology in the search and evaluation stage, we involve separate parameters to disentangle the topology from the operations of the architecture. In such a way, we can independently sample connections and operations without interference; 2) to discount sampling unfairness and variance, we enforce fair sampling for weight update and apply a gradient accumulation mechanism for architecture parameters. Extensive experiments demonstrate that our proposed method has strong performance and robustness, where it mostly achieves state-of-the-art results on a large number of standard benchmarks.
• Abstract（参考訳）: 単一パスに基づく微分可能なニューラルアーキテクチャ探索は、計算コストが低く、メモリフレンドリな性質を持つ。 しかし、主に無視されてきた厳格な検索不安定に悩まされ、より広いアプリケーションには潜在的な弱点が生じる。 本稿では、その性能崩壊問題を掘り下げ、RObustifying Memory-Efficient NAS (ROME)と呼ばれる新しいアルゴリズムを提案する。 具体的には 1) 探索・評価段階における一貫したトポロジに対して, トポロジをアーキテクチャの操作から切り離すためのパラメータを分離する。 このようにして、接続や操作を干渉なく独立してサンプリングできるのです。 2) サンプリングの不公平さとばらつきを和らげるために, ウェイト更新のための公平なサンプリングを強制し, アーキテクチャパラメータに勾配蓄積機構を適用する。 大規模な実験により,提案手法は高い性能とロバスト性を示し,多くの標準ベンチマークで最先端の結果が得られた。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Single-DARTS: Towards Stable Architecture Search [7.894638544388165]
  シングルDARTSを提案する。これは単にシングルレベル最適化を使い、ネットワーク重みとアーキテクチャパラメータを同時に更新するだけである。 実験結果から,Single-DARTSは主流の検索空間における最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-08-18T13:00:39Z)
• Mutually-aware Sub-Graphs Differentiable Architecture Search [29.217547815683748]
  相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS) MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。 提案手法の有効性をImageNetとCIFAR10で示す。
  論文  参考訳（メタデータ） (2021-07-09T09:31:31Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。