論文の概要: MS-DARTS: Mean-Shift Based Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2108.09996v1
• Date: Mon, 23 Aug 2021 08:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 20:43:41.874429
• Title: MS-DARTS: Mean-Shift Based Differentiable Architecture Search
• Title（参考訳）: MS-DARTS:平均シフトに基づく微分可能なアーキテクチャ検索
• Authors: Jun-Wei Hsieh, Ming-Ching Chang, Ping-Yang Chen, Cheng-Han Chou, Chih-Sheng Huang
• Abstract要約: サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
• 参考スコア（独自算出の注目度）: 11.115656548869199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable Architecture Search (DARTS) is an effective continuous relaxation-based network architecture search (NAS) method with low search cost. It has attracted significant attentions in Auto-ML research and becomes one of the most useful paradigms in NAS. Although DARTS can produce superior efficiency over traditional NAS approaches with better control of complex parameters, oftentimes it suffers from stabilization issues in producing deteriorating architectures when discretizing the continuous architecture. We observed considerable loss of validity causing dramatic decline in performance at this final discretization step of DARTS. To address this issue, we propose a Mean-Shift based DARTS (MS-DARTS) to improve stability based on sampling and perturbation. Our approach can improve bot the stability and accuracy of DARTS, by smoothing the loss landscape and sampling architecture parameters within a suitable bandwidth. We investigate the convergence of our mean-shift approach, together with the effects of bandwidth selection that affects stability and accuracy. Evaluations performed on CIFAR-10, CIFAR-100, and ImageNet show that MS-DARTS archives higher performance over other state-of-the-art NAS methods with reduced search cost.
• Abstract（参考訳）: 微分可能アーキテクチャサーチ (DARTS) は、探索コストの低い効果的な連続緩和型ネットワークアーキテクチャサーチ (NAS) 手法である。 これはAuto-ML研究において大きな注目を集め、NASで最も有用なパラダイムの1つとなった。 DARTSは複雑なパラメータをよりよく制御する従来のNASアプローチよりも優れた効率性が得られるが、しばしば、継続的アーキテクチャを識別する際のアーキテクチャの劣化に悩まされる。 我々は,DARTSの最終離散化段階において,性能の劇的な低下を引き起こす妥当性の低下を観察した。 そこで本研究では,サンプリングと摂動に基づく安定性向上を目的とした平均シフト型DARTS(MS-DARTS)を提案する。 本手法は,ロスランドスケープを平滑化し,適切な帯域幅でアーキテクチャパラメータをサンプリングすることにより,DARTSの安定性と精度を向上させる。 平均シフトアプローチの収束と、安定性と精度に影響を与える帯域幅選択の影響について検討する。 CIFAR-10, CIFAR-100, ImageNet で行った評価の結果,MS-DARTS アーカイブは検索コストを削減した他の最先端NAS 手法よりも高い性能を示した。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance [41.23462863659102]
  DARTSはその効率性と単純さで知られている。 しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。 我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
  論文  参考訳（メタデータ） (2023-12-19T22:45:57Z)
• Enhancing the Robustness, Efficiency, and Diversity of Differentiable Architecture Search [25.112048502327738]
  微分可能なアーキテクチャサーチ(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 多くの研究は、インジケータや手動設計によるスキップ接続の蓄積を制限しようと試みている。 操作空間からスキップ接続を除去する、より微妙で直接的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-10T13:25:36Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization [51.489024258966886]
  微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。 しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。 そこで本研究では,DARTSの改良版であるiDARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-25T02:23:30Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。