論文の概要: DARTS without a Validation Set: Optimizing the Marginal Likelihood
- arxiv url: http://arxiv.org/abs/2112.13023v1
- Date: Fri, 24 Dec 2021 10:16:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 14:43:15.671177
- Title: DARTS without a Validation Set: Optimizing the Marginal Likelihood
- Title(参考訳): 検証セットのないdart: 限界可能性の最適化
- Authors: Miroslav Fil, Binxin Ru, Clare Lyle, Yarin Gal
- Abstract要約: TSE(Training-Speed-Estimate)は、DARTSにおける勾配に基づく最適化の検証損失に代えて使用される。
各種DARTS診断を適用し,検証セットを使用しない異常な動作を示すことで,これらの結果を拡張した。
- 参考スコア(独自算出の注目度): 33.26229536690996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of neural architecture search (NAS) has historically been limited
by excessive compute requirements. While modern weight-sharing NAS methods such
as DARTS are able to finish the search in single-digit GPU days, extracting the
final best architecture from the shared weights is notoriously unreliable.
Training-Speed-Estimate (TSE), a recently developed generalization estimator
with a Bayesian marginal likelihood interpretation, has previously been used in
place of the validation loss for gradient-based optimization in DARTS. This
prevents the DARTS skip connection collapse, which significantly improves
performance on NASBench-201 and the original DARTS search space. We extend
those results by applying various DARTS diagnostics and show several unusual
behaviors arising from not using a validation set. Furthermore, our experiments
yield concrete examples of the depth gap and topology selection in DARTS having
a strongly negative impact on the search performance despite generally
receiving limited attention in the literature compared to the operations
selection.
- Abstract(参考訳): neural architecture search (nas)の成功は、歴史的に、過剰な計算要求によって制限されている。
DARTSのような現代のウェイトシェアリングNASメソッドは、1桁のGPU日で検索を終了できるが、共有ウェイトから最終最高のアーキテクチャを抽出することは信頼性が低いことで知られている。
ベイズ限度解釈を用いた最近開発された一般化推定器であるtraining-speed-estimate (tse)は、以前はdartの勾配に基づく最適化の検証損失の代わりに使用されてきた。
これによりDARTSのスキップ接続崩壊が防止され、NASBench-201と元のDARTS検索スペースの性能が大幅に向上する。
各種DARTS診断を適用し,検証セットを使用しない異常な動作を示すことで,これらの結果を拡張した。
さらに,本実験は,操作選択に比べて文献上ではあまり注目されていないにもかかわらず,探索性能に強い負の影響を与えるdartの深さギャップとトポロジ選択の具体例を与える。
関連論文リスト
- Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。
我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。
NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
論文 参考訳(メタデータ) (2023-12-21T02:48:44Z) - IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate
Importance [41.23462863659102]
DARTSはその効率性と単純さで知られている。
しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。
我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
論文 参考訳(メタデータ) (2023-12-19T22:45:57Z) - $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing
Operation Selection among Cells [11.777101481512423]
微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である
我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。
そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
論文 参考訳(メタデータ) (2022-10-14T17:54:01Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳(メタデータ) (2022-03-03T11:47:14Z) - Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。
以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。
我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
論文 参考訳(メタデータ) (2022-02-07T03:43:16Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳(メタデータ) (2021-10-10T09:35:15Z) - iDARTS: Improving DARTS by Node Normalization and Decorrelation
Discretization [51.489024258966886]
微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。
しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。
そこで本研究では,DARTSの改良版であるiDARTSを提案する。
論文 参考訳(メタデータ) (2021-08-25T02:23:30Z) - DARTS for Inverse Problems: a Study on Hyperparameter Sensitivity [21.263326724329698]
微分可能なアーキテクチャサーチ(DARTS)は、ニューラルネットワークサーチのための広く研究されているツールである。
本報告では,DARTSをベースとした各種手法の結果と,その基礎となる性能統計について報告する。
論文 参考訳(メタデータ) (2021-08-12T10:28:02Z) - Stabilizing Differentiable Architecture Search via Perturbation-based
Regularization [99.81980366552408]
最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。
本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
論文 参考訳(メタデータ) (2020-02-12T23:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。