論文の概要: Stabilizing Differentiable Architecture Search via Perturbation-based Regularization

• arxiv url: http://arxiv.org/abs/2002.05283v3
• Date: Tue, 12 Jan 2021 19:17:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 18:52:58.626744
• Title: Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
• Title（参考訳）: 摂動に基づく正則化によるアーキテクチャ探索の安定化
• Authors: Xiangning Chen, Cho-Jui Hsieh
• Abstract要約: 最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
• 参考スコア（独自算出の注目度）: 99.81980366552408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DARTS) is a prevailing NAS solution to identify architectures. Based on the continuous relaxation of the architecture space, DARTS learns a differentiable architecture weight and largely reduces the search cost. However, its stability has been challenged for yielding deteriorating architectures as the search proceeds. We find that the precipitous validation loss landscape, which leads to a dramatic performance drop when distilling the final architecture, is an essential factor that causes instability. Based on this observation, we propose a perturbation-based regularization - SmoothDARTS (SDARTS), to smooth the loss landscape and improve the generalizability of DARTS-based methods. In particular, our new formulations stabilize DARTS-based methods by either random smoothing or adversarial attack. The search trajectory on NAS-Bench-1Shot1 demonstrates the effectiveness of our approach and due to the improved stability, we achieve performance gain across various search spaces on 4 datasets. Furthermore, we mathematically show that SDARTS implicitly regularizes the Hessian norm of the validation loss, which accounts for a smoother loss landscape and improved performance.
• Abstract（参考訳）: 微分可能なアーキテクチャ探索(DARTS)は、アーキテクチャを識別するための一般的なNASソリューションである。 アーキテクチャ空間の継続的な緩和に基づいて、DARTSは異なるアーキテクチャウェイトを学び、探索コストを大幅に削減する。 しかし、その安定性は、探索が進むにつれて劣化するアーキテクチャをもたらすことで問題視されている。 最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 そこで本研究では,DARTS法における損失景観の平滑化と一般化性の向上を目的として,摂動型正規化SmoothDARTS(SDARTS)を提案する。 特に,我々の新しい定式化はDARTS法をランダムな平滑化または逆攻撃によって安定化させる。 nas-bench-1shot1の探索軌跡は,提案手法の有効性を示し,安定性の向上により,4つのデータセットの様々な検索空間における性能向上を実現する。 さらに,SDARTSは,スムーズな損失景観と性能向上を考慮に入れた検証損失のヘッセン的規範を暗黙的に正則化していることを示す。

関連論文リスト

• LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning [5.214135587370722]
  我々はLong-Tailed Differential Architecture Search (LT-DARTS)を紹介する。 長いデータに対して優れたパフォーマンスを示すアーキテクチャコンポーネントを探索するために、広範な実験を行います。 これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。
  論文  参考訳（メタデータ） (2024-11-09T07:19:56Z)
• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• Enhancing the Robustness, Efficiency, and Diversity of Differentiable Architecture Search [25.112048502327738]
  微分可能なアーキテクチャサーチ(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 多くの研究は、インジケータや手動設計によるスキップ接続の蓄積を制限しようと試みている。 操作空間からスキップ接続を除去する、より微妙で直接的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-10T13:25:36Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization [51.489024258966886]
  微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。 しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。 そこで本研究では,DARTSの改良版であるiDARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-25T02:23:30Z)
• MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
  サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
  論文  参考訳（メタデータ） (2021-08-23T08:06:45Z)
• $\mu$DARTS: Model Uncertainty-Aware Differentiable Architecture Search [8.024434062411943]
  DARTSセル内にコンクリートドロップアウトを導入し,モンテカルロレギュレータをトレーニング損失に組み込んでコンクリートドロップアウト確率を最適化する。 CIFAR10, CIFAR100, SVHN, ImageNetでの実験では,$mu$DARTSの有効性が検証された。
  論文  参考訳（メタデータ） (2021-07-24T01:09:20Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。