論文の概要: Regularizing Differentiable Architecture Search with Smooth Activation

• arxiv url: http://arxiv.org/abs/2504.16306v1
• Date: Tue, 22 Apr 2025 22:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.954688
• Title: Regularizing Differentiable Architecture Search with Smooth Activation
• Title（参考訳）: Smooth Activation による差別化可能なアーキテクチャ探索の正規化
• Authors: Yanlin Zhou, Mostafa El-Khamy, Kee-Bong Song,
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)は、効率的なニューラルネットワークサーチ(NAS)手法であるが、堅牢性、一般化、不一致の問題に悩まされている。 Smooth Activation DARTS (SA-DARTS) を提案する。 超高分解能タスクにおける情報多蒸留ネットワークなどのパラメータが少ないSOTAモデルの性能向上にSA-DARTSが有効であることを示す。
• 参考スコア（独自算出の注目度）: 10.658697052636272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable Architecture Search (DARTS) is an efficient Neural Architecture Search (NAS) method but suffers from robustness, generalization, and discrepancy issues. Many efforts have been made towards the performance collapse issue caused by skip dominance with various regularization techniques towards operation weights, path weights, noise injection, and super-network redesign. It had become questionable at a certain point if there could exist a better and more elegant way to retract the search to its intended goal -- NAS is a selection problem. In this paper, we undertake a simple but effective approach, named Smooth Activation DARTS (SA-DARTS), to overcome skip dominance and discretization discrepancy challenges. By leveraging a smooth activation function on architecture weights as an auxiliary loss, our SA-DARTS mitigates the unfair advantage of weight-free operations, converging to fanned-out architecture weight values, and can recover the search process from skip-dominance initialization. Through theoretical and empirical analysis, we demonstrate that the SA-DARTS can yield new state-of-the-art (SOTA) results on NAS-Bench-201, classification, and super-resolution. Further, we show that SA-DARTS can help improve the performance of SOTA models with fewer parameters, such as Information Multi-distillation Network on the super-resolution task.
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ(DARTS)は、効率的なニューラルネットワークサーチ(NAS)手法であるが、堅牢性、一般化、不一致の問題に悩まされている。 動作重量、経路重量、ノイズ注入、スーパーネットワークの再設計に対する様々な正規化技術によるスキップ支配による性能崩壊問題に対する多くの取り組みがなされている。 NASは、検索を目的とする目標に還元する、より良くエレガントな方法が存在するかどうか、ある時点で疑問が持たれていた。 本稿では,Smooth Activation DARTS (SA-DARTS) という,単純かつ効果的な手法を用いて,スキップ支配と離散化の相違を克服する。 補助損失としてアーキテクチャウェイト上でのスムーズなアクティベーション関数を活用することで、当社のSA-DARTSは、ウェイトフリー操作の不公平な利点を軽減し、ファンディングアウトアーキテクチャウェイト値に収束し、スキップマナンスの初期化から探索プロセスを回復することができる。 理論的および実証的な分析により、SA-DARTSはNAS-Bench-201、分類、超解像に対して新しい最先端(SOTA)結果が得られることを示した。 さらに,SA-DARTSは,超解像処理における情報多重蒸留ネットワークなどのパラメータが少ないSOTAモデルの性能向上に有効であることを示す。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance [41.23462863659102]
  DARTSはその効率性と単純さで知られている。 しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。 我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
  論文  参考訳（メタデータ） (2023-12-19T22:45:57Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
  サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
  論文  参考訳（メタデータ） (2021-08-23T08:06:45Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。