論文の概要: Bag of Tricks for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2107.03719v1
- Date: Thu, 8 Jul 2021 09:57:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-09 18:52:56.718262
- Title: Bag of Tricks for Neural Architecture Search
- Title(参考訳): ニューラルネットワーク検索のためのトリックのバグ
- Authors: Thomas Elsken, Benedikt Staffler, Arber Zela, Jan Hendrik Metzen,
Frank Hutter
- Abstract要約: 安定性、効率、全体的な性能を改善するための実践的な考察について論じる。
ニューラルアーキテクチャサーチ手法は、過去数年間で成功し、様々な問題に対する新しい最先端のパフォーマンスを生み出した。
- 参考スコア(独自算出の注目度): 47.879476936015855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While neural architecture search methods have been successful in previous
years and led to new state-of-the-art performance on various problems, they
have also been criticized for being unstable, being highly sensitive with
respect to their hyperparameters, and often not performing better than random
search. To shed some light on this issue, we discuss some practical
considerations that help improve the stability, efficiency and overall
performance.
- Abstract(参考訳): ニューラルネットワークの検索手法は、ここ数年で成功し、様々な問題に対する新たな最先端のパフォーマンスをもたらしたが、それらは不安定であり、ハイパーパラメータに対して非常に敏感であり、しばしばランダム検索よりもパフォーマンスが良いと批判されてきた。
この問題に光を当てるために,我々は,安定性,効率,全体的な性能を改善するための実践的考察について論じる。
関連論文リスト
- PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。
動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。
我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文 参考訳(メタデータ) (2023-12-08T17:05:47Z) - Generalizable Lightweight Proxy for Robust NAS against Diverse
Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。
クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。
提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文 参考訳(メタデータ) (2023-06-08T08:34:26Z) - On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。
準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
論文 参考訳(メタデータ) (2022-05-18T20:53:58Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳(メタデータ) (2022-03-03T11:47:14Z) - Fitness Landscape Footprint: A Framework to Compare Neural Architecture
Search Problems [12.901952926144258]
我々は、フィットネスランドスケープ分析を用いて、ニューラルアーキテクチャー探索問題を研究する。
本稿では,古典画像分類ベンチマークCIFAR-10とリモートセンシング問題So2Sat LCZ42の2つの問題について検討する。
論文 参考訳(メタデータ) (2021-11-02T13:20:01Z) - Making Differentiable Architecture Search less local [9.869449181400466]
微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。
これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。
DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
論文 参考訳(メタデータ) (2021-04-21T10:36:43Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - Stabilizing Differentiable Architecture Search via Perturbation-based
Regularization [99.81980366552408]
最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。
本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
論文 参考訳(メタデータ) (2020-02-12T23:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。