論文の概要: Operation-level Progressive Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2302.05632v1
• Date: Sat, 11 Feb 2023 09:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 19:18:31.759582
• Title: Operation-level Progressive Differentiable Architecture Search
• Title（参考訳）: 操作レベルプログレッシブ・差別化可能なアーキテクチャ探索
• Authors: Xunyu Zhu, Jian Li, Yong Liu, Weiping Wang
• Abstract要約: 本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
• 参考スコア（独自算出の注目度）: 19.214462477848535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable Neural Architecture Search (DARTS) is becoming more and more popular among Neural Architecture Search (NAS) methods because of its high search efficiency and low compute cost. However, the stability of DARTS is very inferior, especially skip connections aggregation that leads to performance collapse. Though existing methods leverage Hessian eigenvalues to alleviate skip connections aggregation, they make DARTS unable to explore architectures with better performance. In the paper, we propose operation-level progressive differentiable neural architecture search (OPP-DARTS) to avoid skip connections aggregation and explore better architectures simultaneously. We first divide the search process into several stages during the search phase and increase candidate operations into the search space progressively at the beginning of each stage. It can effectively alleviate the unfair competition between operations during the search phase of DARTS by offsetting the inherent unfair advantage of the skip connection over other operations. Besides, to keep the competition between operations relatively fair and select the operation from the candidate operations set that makes training loss of the supernet largest. The experiment results indicate that our method is effective and efficient. Our method's performance on CIFAR-10 is superior to the architecture found by standard DARTS, and the transferability of our method also surpasses standard DARTS. We further demonstrate the robustness of our method on three simple search spaces, i.e., S2, S3, S4, and the results show us that our method is more robust than standard DARTS. Our code is available at https://github.com/zxunyu/OPP-DARTS.
• Abstract（参考訳）: 差別化可能なニューラルネットワーク検索(darts)は、高い検索効率と計算コストの低さから、ニューラルネットワーク検索(nas)メソッドでますます人気が高まっている。 しかし、DARTSの安定性は非常に劣る、特に性能の低下につながる接続アグリゲーションをスキップする。 既存のメソッドではhessian eigenvaluesを使ってスキップ接続のアグリゲーションを緩和しているが、dartはより良いパフォーマンスでアーキテクチャを探索できない。 本稿では,接続アグリゲーションのスキップを回避し,より優れたアーキテクチャを同時に探索するための操作レベルプログレッシブ・差別化ニューラルネットワーク探索(OPP-DARTS)を提案する。 まず,探索段階において探索過程を複数の段階に分割し,各段階の開始時に段階的に候補操作を探索空間に拡大する。 他の操作に対するスキップ接続の固有の不公平な利点をオフにすることで、dartの検索フェーズにおける操作間の不公平な競合を効果的に軽減することができる。 さらに、運用間の競合を比較的公平に保ち、スーパーネットのトレーニング損失を最大化する候補操作セットから操作を選択する。 実験の結果,本手法は効率的かつ効率的であることが判明した。 CIFAR-10における本手法の性能は標準DARTSよりも優れており,本手法の転送性も標準DARTSを上回っている。 さらに,S2,S3,S4の3つの単純な探索空間において,本手法のロバスト性を示すとともに,本手法が標準DARTSよりもロバストであることを示す。 私たちのコードはhttps://github.com/zxunyu/OPP-DARTS.comで利用可能です。

関連論文リスト

• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• DARTS for Inverse Problems: a Study on Hyperparameter Sensitivity [21.263326724329698]
  微分可能なアーキテクチャサーチ(DARTS)は、ニューラルネットワークサーチのための広く研究されているツールである。 本報告では,DARTSをベースとした各種手法の結果と,その基礎となる性能統計について報告する。
  論文  参考訳（メタデータ） (2021-08-12T10:28:02Z)
• FEAR: A Simple Lightweight Method to Rank Architectures [14.017656480004955]
  検索空間のアーキテクチャをランク付けするために,FEARと呼ぶシンプルだが強力な手法を提案する。 FEARは、精度を損なうことなく、検索時間を約2.4倍削減できる。 また,最近提案されたランキングのゼロコスト対策を実証的に検討し,トレーニングが進むにつれてランキングのパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2021-06-07T23:38:21Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DARTS-: Robustly Stepping out of Performance Collapse Without Indicators [74.21019737169675]
  異なるアーキテクチャ検索は、長期にわたるパフォーマンスの不安定さに悩まされる。 ヘッセン固有値のような指標は、性能が崩壊する前に探索を止める信号として提案される。 本稿では,崩壊を解決するために,より微妙で直接的なアプローチをとる。
  論文  参考訳（メタデータ） (2020-09-02T12:54:13Z)
• RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
  微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。 我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。 RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
  論文  参考訳（メタデータ） (2020-08-10T04:55:51Z)
• Theory-Inspired Path-Regularized Differential Network Architecture Search [206.93821077400733]
  差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
  論文  参考訳（メタデータ） (2020-06-30T05:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。