論文の概要: IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance

• arxiv url: http://arxiv.org/abs/2312.12648v1
• Date: Tue, 19 Dec 2023 22:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 17:40:24.783925
• Title: IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance
• Title（参考訳）: IS-DARTS: 正確な測定によるDARTSの安定化
• Authors: Hongyi He, Longjun Liu, Haonan Zhang and Nanning Zheng
• Abstract要約: DARTSはその効率性と単純さで知られている。 しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。 我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
• 参考スコア（独自算出の注目度）: 41.23462863659102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among existing Neural Architecture Search methods, DARTS is known for its efficiency and simplicity. This approach applies continuous relaxation of network representation to construct a weight-sharing supernet and enables the identification of excellent subnets in just a few GPU days. However, performance collapse in DARTS results in deteriorating architectures filled with parameter-free operations and remains a great challenge to the robustness. To resolve this problem, we reveal that the fundamental reason is the biased estimation of the candidate importance in the search space through theoretical and experimental analysis, and more precisely select operations via information-based measurements. Furthermore, we demonstrate that the excessive concern over the supernet and inefficient utilization of data in bi-level optimization also account for suboptimal results. We adopt a more realistic objective focusing on the performance of subnets and simplify it with the help of the information-based measurements. Finally, we explain theoretically why progressively shrinking the width of the supernet is necessary and reduce the approximation error of optimal weights in DARTS. Our proposed method, named IS-DARTS, comprehensively improves DARTS and resolves the aforementioned problems. Extensive experiments on NAS-Bench-201 and DARTS-based search space demonstrate the effectiveness of IS-DARTS.
• Abstract（参考訳）: 既存のNeural Architecture Searchメソッドの中で、DARTSはその効率性と単純さで知られている。 このアプローチでは、重み共有スーパーネットを構築するためにネットワーク表現を連続的に緩和し、わずか数gpuで優れたサブネットを識別できる。 しかし、DARTSの性能低下によりパラメータフリーな操作で満たされたアーキテクチャが劣化し、ロバスト性に大きな課題が残る。 この問題を解決するために、理論的および実験的分析により探索空間における候補重要度を偏りに推定し、情報に基づく測定によりより正確に操作を選択することを明らかにする。 さらに、双レベル最適化における超ネットに対する過度な懸念と非効率なデータ利用もまた、最適以下の結果であることを示した。 サブネットの性能を重視したより現実的な目標を採用し、情報に基づく測定の助けを借りて単純化する。 最後に,DARTSの最適重みの近似誤差を低減するために,スーパーネットの幅を漸進的に縮小する理由を理論的に説明する。 提案手法はIS-DARTSと呼ばれ,DARTSを包括的に改善し,上記の問題を解決する。 NAS-Bench-201とDARTSに基づく探索空間の大規模な実験は、IS-DARTSの有効性を実証している。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization [8.93957397187611]
  微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。 最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。 そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:11:37Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• DARTS without a Validation Set: Optimizing the Marginal Likelihood [33.26229536690996]
  TSE(Training-Speed-Estimate)は、DARTSにおける勾配に基づく最適化の検証損失に代えて使用される。 各種DARTS診断を適用し,検証セットを使用しない異常な動作を示すことで,これらの結果を拡張した。
  論文  参考訳（メタデータ） (2021-12-24T10:16:38Z)
• MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
  サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
  論文  参考訳（メタデータ） (2021-08-23T08:06:45Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。