論文の概要: OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength

• arxiv url: http://arxiv.org/abs/2409.14433v1
• Date: Sun, 22 Sep 2024 13:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:41:53.235159
• Title: OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength
• Title（参考訳）: OStr-DARTS:操作強度に基づく微分可能なニューラルネットワーク探索
• Authors: Le Yang, Ziwei Zheng, Yizeng Han, Shiji Song, Gao Huang, Fan Li,
• Abstract要約: 分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
• 参考スコア（独自算出の注目度）: 70.76342136866413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DARTS) has emerged as a promising technique for effective neural architecture search, and it mainly contains two steps to find the high-performance architecture: First, the DARTS supernet that consists of mixed operations will be optimized via gradient descent. Second, the final architecture will be built by the selected operations that contribute the most to the supernet. Although DARTS improves the efficiency of NAS, it suffers from the well-known degeneration issue which can lead to deteriorating architectures. Existing works mainly attribute the degeneration issue to the failure of its supernet optimization, while little attention has been paid to the selection method. In this paper, we cease to apply the widely-used magnitude-based selection method and propose a novel criterion based on operation strength that estimates the importance of an operation by its effect on the final loss. We show that the degeneration issue can be effectively addressed by using the proposed criterion without any modification of supernet optimization, indicating that the magnitude-based selection method can be a critical reason for the instability of DARTS. The experiments on NAS-Bench-201 and DARTS search spaces show the effectiveness of our method.
• Abstract（参考訳）: 微分可能なアーキテクチャ探索(DARTS)は、効果的なニューラルネットワーク探索のための有望なテクニックとして登場し、主に高性能アーキテクチャを見つけるための2つのステップを含んでいる。 第二に、最終的なアーキテクチャは、選択した操作によって構築され、スーパーネットに最も貢献する。 DARTSはNASの効率を向上するが、よく知られた劣化問題に悩まされ、アーキテクチャの劣化につながる。 既存の研究は、主にデジェネレーションの問題は、そのスーパーネット最適化の失敗に起因しているが、選択法にはほとんど注意が払われていない。 本稿では,広範に使用されている等級別選択法の適用を中止し,最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。 本研究は,DARTSの不安定性に重要な原因となるマグニチュードベース選択法を,スーパーネット最適化の修正を伴わずに提案した基準を用いることで,デジェネレーション問題に効果的に対処できることを示唆する。 NAS-Bench-201とDARTSの探索実験により,本手法の有効性が示された。

関連論文リスト

• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• DARTS for Inverse Problems: a Study on Hyperparameter Sensitivity [21.263326724329698]
  微分可能なアーキテクチャサーチ(DARTS)は、ニューラルネットワークサーチのための広く研究されているツールである。 本報告では,DARTSをベースとした各種手法の結果と,その基礎となる性能統計について報告する。
  論文  参考訳（メタデータ） (2021-08-12T10:28:02Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
  微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。 我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。 RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
  論文  参考訳（メタデータ） (2020-08-10T04:55:51Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。