論文の概要: Single-DARTS: Towards Stable Architecture Search

• arxiv url: http://arxiv.org/abs/2108.08128v1
• Date: Wed, 18 Aug 2021 13:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:50:32.854306
• Title: Single-DARTS: Towards Stable Architecture Search
• Title（参考訳）: Single-DARTS: 安定したアーキテクチャ検索を目指す
• Authors: Pengfei Hou, Ying Jin, Yukang Chen
• Abstract要約: シングルDARTSを提案する。これは単にシングルレベル最適化を使い、ネットワーク重みとアーキテクチャパラメータを同時に更新するだけである。 実験結果から,Single-DARTSは主流の検索空間における最先端の性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 7.894638544388165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DARTS) marks a milestone in Neural Architecture Search (NAS), boasting simplicity and small search costs. However, DARTS still suffers from frequent performance collapse, which happens when some operations, such as skip connections, zeroes and poolings, dominate the architecture. In this paper, we are the first to point out that the phenomenon is attributed to bi-level optimization. We propose Single-DARTS which merely uses single-level optimization, updating network weights and architecture parameters simultaneously with the same data batch. Even single-level optimization has been previously attempted, no literature provides a systematic explanation on this essential point. Replacing the bi-level optimization, Single-DARTS obviously alleviates performance collapse as well as enhances the stability of architecture search. Experiment results show that Single-DARTS achieves state-of-the-art performance on mainstream search spaces. For instance, on NAS-Benchmark-201, the searched architectures are nearly optimal ones. We also validate that the single-level optimization framework is much more stable than the bi-level one. We hope that this simple yet effective method will give some insights on differential architecture search. The code is available at https://github.com/PencilAndBike/Single-DARTS.git.
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ(DARTS)はニューラルネットワークサーチ(NAS)のマイルストーンであり、単純さと少ない検索コストを誇っている。 しかしdartは、スキップ接続、ゼロ、プールなどいくつかの操作がアーキテクチャを支配している場合に発生する、頻繁にパフォーマンスの崩壊に苦しむ。 本稿では,この現象が二段階最適化によるものであることを最初に指摘する。 単一レベル最適化のみを用いて,ネットワーク重みとアーキテクチャパラメータを同時に更新するSingle-DARTSを提案する。 単一レベルの最適化は以前にも試みられてきたが、この本質的な点について体系的な説明をする文献はない。 2レベル最適化に代えて、Single-DARTSは明らかに性能低下を軽減し、アーキテクチャ検索の安定性を高める。 実験結果から,Single-DARTSは主流の検索空間における最先端の性能を実現することが示された。 例えばNAS-Benchmark-201では、探索されたアーキテクチャはほぼ最適である。 また,シングルレベル最適化フレームワークがbiレベルフレームワークよりもずっと安定していることを検証する。 この単純で効果的な手法が、差分アーキテクチャ探索に関する洞察を与えてくれることを願っている。 コードはhttps://github.com/PencilAndBike/Single-DARTS.gitで公開されている。

関連論文リスト

• Mutually-aware Sub-Graphs Differentiable Architecture Search [29.217547815683748]
  相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS) MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。 提案手法の有効性をImageNetとCIFAR10で示す。
  論文  参考訳（メタデータ） (2021-07-09T09:31:31Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• Single-level Optimization For Differential Architecture Search [6.3531384587183135]
  differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。 本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。 NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
  論文  参考訳（メタデータ） (2020-12-15T18:40:33Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。