論文の概要: DARTS without a Validation Set: Optimizing the Marginal Likelihood

• arxiv url: http://arxiv.org/abs/2112.13023v1
• Date: Fri, 24 Dec 2021 10:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 14:43:15.671177
• Title: DARTS without a Validation Set: Optimizing the Marginal Likelihood
• Title（参考訳）: 検証セットのないdart: 限界可能性の最適化
• Authors: Miroslav Fil, Binxin Ru, Clare Lyle, Yarin Gal
• Abstract要約: TSE(Training-Speed-Estimate)は、DARTSにおける勾配に基づく最適化の検証損失に代えて使用される。 各種DARTS診断を適用し,検証セットを使用しない異常な動作を示すことで,これらの結果を拡張した。
• 参考スコア（独自算出の注目度）: 33.26229536690996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of neural architecture search (NAS) has historically been limited by excessive compute requirements. While modern weight-sharing NAS methods such as DARTS are able to finish the search in single-digit GPU days, extracting the final best architecture from the shared weights is notoriously unreliable. Training-Speed-Estimate (TSE), a recently developed generalization estimator with a Bayesian marginal likelihood interpretation, has previously been used in place of the validation loss for gradient-based optimization in DARTS. This prevents the DARTS skip connection collapse, which significantly improves performance on NASBench-201 and the original DARTS search space. We extend those results by applying various DARTS diagnostics and show several unusual behaviors arising from not using a validation set. Furthermore, our experiments yield concrete examples of the depth gap and topology selection in DARTS having a strongly negative impact on the search performance despite generally receiving limited attention in the literature compared to the operations selection.
• Abstract（参考訳）: neural architecture search (nas)の成功は、歴史的に、過剰な計算要求によって制限されている。 DARTSのような現代のウェイトシェアリングNASメソッドは、1桁のGPU日で検索を終了できるが、共有ウェイトから最終最高のアーキテクチャを抽出することは信頼性が低いことで知られている。 ベイズ限度解釈を用いた最近開発された一般化推定器であるtraining-speed-estimate (tse)は、以前はdartの勾配に基づく最適化の検証損失の代わりに使用されてきた。 これによりDARTSのスキップ接続崩壊が防止され、NASBench-201と元のDARTS検索スペースの性能が大幅に向上する。 各種DARTS診断を適用し,検証セットを使用しない異常な動作を示すことで,これらの結果を拡張した。 さらに,本実験は,操作選択に比べて文献上ではあまり注目されていないにもかかわらず,探索性能に強い負の影響を与えるdartの深さギャップとトポロジ選択の具体例を与える。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance [41.23462863659102]
  DARTSはその効率性と単純さで知られている。 しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。 我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
  論文  参考訳（メタデータ） (2023-12-19T22:45:57Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization [51.489024258966886]
  微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。 しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。 そこで本研究では,DARTSの改良版であるiDARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-25T02:23:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。