論文の概要: ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation

• arxiv url: http://arxiv.org/abs/2011.11233v2
• Date: Thu, 3 Aug 2023 01:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:51:31.375653
• Title: ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation
• Title（参考訳）: ROME: トポロジアンタングルメントとグラディエント蓄積によるメモリ効率NASのロバスト化
• Authors: Xiaoxing Wang and Xiangxiang Chu and Yuda Fan and Zhexi Zhang and Bo Zhang and Xiaokang Yang and Junchi Yan
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 106.04777600352743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Albeit being a prevalent architecture searching approach, differentiable architecture search (DARTS) is largely hindered by its substantial memory cost since the entire supernet resides in the memory. This is where the single-path DARTS comes in, which only chooses a single-path submodel at each step. While being memory-friendly, it also comes with low computational costs. Nonetheless, we discover a critical issue of single-path DARTS that has not been primarily noticed. Namely, it also suffers from severe performance collapse since too many parameter-free operations like skip connections are derived, just like DARTS does. In this paper, we propose a new algorithm called RObustifying Memory-Efficient NAS (ROME) to give a cure. First, we disentangle the topology search from the operation search to make searching and evaluation consistent. We then adopt Gumbel-Top2 reparameterization and gradient accumulation to robustify the unwieldy bi-level optimization. We verify ROME extensively across 15 benchmarks to demonstrate its effectiveness and robustness.
• Abstract（参考訳）: 一般的なアーキテクチャ探索手法であるにもかかわらず、DARTS(Dariable Architecture Search)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 ここでシングルパスDARTSが登場し、各ステップでシングルパスサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 しかし,特に注目されていないシングルパスDARTSの致命的な問題を発見した。 つまり、DARTSのように、スキップ接続のようなパラメータフリーな操作が多すぎるため、パフォーマンスが著しく低下する。 本稿では, RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。 まず、トポロジ検索を操作探索から切り離して、検索と評価を一貫性のあるものにする。 次に、Gumbel-Top2再パラメータ化と勾配累積を導入し、不安定な二段階最適化の強化を図る。 我々はROMEを15のベンチマークで広範囲に検証し、その有効性と堅牢性を示す。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Single-DARTS: Towards Stable Architecture Search [7.894638544388165]
  シングルDARTSを提案する。これは単にシングルレベル最適化を使い、ネットワーク重みとアーキテクチャパラメータを同時に更新するだけである。 実験結果から,Single-DARTSは主流の検索空間における最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-08-18T13:00:39Z)
• Mutually-aware Sub-Graphs Differentiable Architecture Search [29.217547815683748]
  相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS) MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。 提案手法の有効性をImageNetとCIFAR10で示す。
  論文  参考訳（メタデータ） (2021-07-09T09:31:31Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。