論文の概要: NAS-Bench-x11 and the Power of Learning Curves

• arxiv url: http://arxiv.org/abs/2111.03602v1
• Date: Fri, 5 Nov 2021 16:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 14:00:18.770640
• Title: NAS-Bench-x11 and the Power of Learning Curves
• Title（参考訳）: NAS-Bench-x11と学習曲線のパワー
• Authors: Shen Yan, Colin White, Yash Savani, Frank Hutter
• Abstract要約: 本研究では,NAS-Bench-111,NAS-Bench-311,NAS-Bench-11,NAS-Bench-11のベンチマークを作成するために特異値分解とノイズモデリングを用いた手法を提案する。 本研究では,学習曲線外挿フレームワークを導入し,単一忠実度アルゴリズムを改良することで,学習情報を完全に活用する能力を実証する。
• 参考スコア（独自算出の注目度）: 43.4379778935488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While early research in neural architecture search (NAS) required extreme computational resources, the recent releases of tabular and surrogate benchmarks have greatly increased the speed and reproducibility of NAS research. However, two of the most popular benchmarks do not provide the full training information for each architecture. As a result, on these benchmarks it is not possible to run many types of multi-fidelity techniques, such as learning curve extrapolation, that require evaluating architectures at arbitrary epochs. In this work, we present a method using singular value decomposition and noise modeling to create surrogate benchmarks, NAS-Bench-111, NAS-Bench-311, and NAS-Bench-NLP11, that output the full training information for each architecture, rather than just the final validation accuracy. We demonstrate the power of using the full training information by introducing a learning curve extrapolation framework to modify single-fidelity algorithms, showing that it leads to improvements over popular single-fidelity algorithms which claimed to be state-of-the-art upon release. Our code and pretrained models are available at https://github.com/automl/nas-bench-x11.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の初期の研究は極端な計算資源を必要としていたが、最近のグラフおよびサロゲートベンチマークのリリースはNAS研究のスピードと再現性を大幅に向上させた。 しかし、最も人気のあるベンチマークのうち2つは、各アーキテクチャの完全なトレーニング情報を提供していない。 結果として、これらのベンチマークでは、任意のエポックでのアーキテクチャの評価を必要とする学習曲線外挿など、多くの種類のマルチフィデリティ技術を実行することはできない。 本研究では,NAS-Bench-111,NAS-Bench-311,NAS-Bench-NLP11というサロゲートベンチマークを作成するための特異値分解とノイズモデリングを用いた手法を提案する。 学習曲線外挿フレームワークを導入することで,学習情報の利用のパワーを実証し,学習曲線外挿フレームワークを用いて単一忠実度アルゴリズムを修正することにより,リリース時の最先端を主張する一般的な単一忠実度アルゴリズムよりも改善することを示す。 私たちのコードと事前トレーニングされたモデルは、https://github.com/automl/nas-bench-x11で利用可能です。

関連論文リスト

• Graph is all you need? Lightweight data-agnostic neural architecture search without training [45.79667238486864]
  ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークモデルの自動設計を可能にする。 我々の手法はnasgraphと呼ばれ、ニューラルネットワークをグラフに変換することによって計算コストを大幅に削減する。 NAS-Bench201からランダムにサンプリングされた200のアーキテクチャの中で、最高のアーキテクチャを217CPU秒で見つけることができる。
  論文  参考訳（メタデータ） (2024-05-02T14:12:58Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
  本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。 提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
  論文  参考訳（メタデータ） (2023-02-09T02:25:38Z)
• NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction [1.2183405753834562]
  440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。 実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。 このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
  論文  参考訳（メタデータ） (2022-09-14T13:21:39Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。