論文の概要: Trainless Model Performance Estimation for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2103.08312v1
- Date: Wed, 10 Mar 2021 06:20:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 01:01:45.931887
- Title: Trainless Model Performance Estimation for Neural Architecture Search
- Title（参考訳）: ニューラルアーキテクチャ探索のためのトレーニングレスモデル性能推定
- Authors: Ekaterina Gracheva
- Abstract要約: 本稿では,基準偏差を平均値で割った非トレーニング精度の相対標準偏差として,メートル法スコアを導入する。
測定値が最も低いアーキテクチャは、平均して91.90 pm 2.27$、64.08 pm 5.63$、38.76 pm 6.62$でCIFAR-10、CIFAR-100、およびイメージネットの縮小版である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural architecture search has become an indispensable part of the deep
learning field. Modern methods allow to find out the best performing
architectures for a task, or to build a network from scratch, but they usually
require a tremendous amount of training. In this paper we present a simple
method, allowing to discover a suitable architecture for a task based on its
untrained performance. We introduce the metric score as the relative standard
deviation of the untrained accuracy, which is the standard deviation divided by
the mean. Statistics for each neural architecture are calculated over multiple
initialisations with different seeds on a single batch of data. An architecture
with the lowest metric score value has on average an accuracy of $91.90 \pm
2.27$, $64.08 \pm 5.63$ and $38.76 \pm 6.62$ for CIFAR-10, CIFAR-100 and a
downscaled version of ImageNet, respectively. The results show that a good
architecture should be stable against initialisations before training. The
procedure takes about $190$ s for CIFAR and $133.9$ s for ImageNet, on a batch
of $256$ images and $100$ initialisations.
- Abstract（参考訳）: ニューラルアーキテクチャサーチは、ディープラーニング分野において欠かせない部分となっている。
現代的な手法では、タスクに最適なアーキテクチャを見つけ出すことができますし、スクラッチからネットワークを構築することもできますが、通常は膨大なトレーニングが必要です。
本稿では,その非学習性能に基づいてタスクに適したアーキテクチャを見出すための簡易な手法を提案する。
本稿では,基準偏差を平均値で割った非トレーニング精度の相対標準偏差として,メトリックスコアを導入する。
各ニューラルネットワークアーキテクチャの統計は、単一のデータバッチ上の異なる種を持つ複数の初期化で計算される。
最も低いメートル法スコアを持つアーキテクチャは、CIFAR-10、CIFAR-100、ImageNetのダウンスケール版に対して平均911.90 \pm 2.27$、64.08 \pm 5.63$、38.76 \pm 6.62$の精度を持つ。
その結果、優れたアーキテクチャはトレーニング前の初期化に対して安定すべきであることが示された。
この手続きにはcifarが約190ドル、imagenetが133.9ドル、画像が256ドル、初期化が100ドルかかる。
関連論文リスト
- DAS: Neural Architecture Search via Distinguishing Activation Score [21.711985665733653]
ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。
Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。
提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
論文 参考訳（メタデータ） (2022-12-23T04:02:46Z) - NAAP-440 Dataset and Baseline for Neural Architecture Accuracy
Prediction [1.2183405753834562]
440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。
実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。
このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
論文 参考訳（メタデータ） (2022-09-14T13:21:39Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - SmoothNets: Optimizing CNN architecture design for differentially
private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。
これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。
SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文 参考訳（メタデータ） (2022-05-09T07:51:54Z) - Neural Architecture Search using Covariance Matrix Adaptation Evolution
Strategy [6.8129169853808795]
本稿では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,共分散行列適応進化戦略(CMA-ES)を適用する枠組みを提案する。
アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。
CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。
論文 参考訳（メタデータ） (2021-07-15T11:41:23Z) - Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。
本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。
公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
論文 参考訳（メタデータ） (2021-03-22T15:09:29Z) - Contrastive Neural Architecture Search with Neural Architecture
Comparators [46.45102111497492]
neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。
既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。
本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
論文 参考訳（メタデータ） (2021-03-08T11:24:07Z) - Towards Learning Convolutions from Scratch [34.71001535076825]
畳み込みはコンピュータビジョンで使用されるアーキテクチャの最も重要な構成要素の1つである。
現在の最先端アーキテクチャ検索アルゴリズムでは、データから学習するのではなく、畳み込みを既存のモジュールの1つとして使用しています。
ローカル接続でアーキテクチャを学習するLASSOアルゴリズムの簡単な変種である$beta$-LASSOを提案する。
論文 参考訳（メタデータ） (2020-07-27T16:13:13Z) - Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。
知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。
このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
論文 参考訳（メタデータ） (2020-06-15T12:32:38Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Semi-Supervised Neural Architecture Search [185.0651567642238]
SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。
NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。
低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
論文 参考訳（メタデータ） (2020-02-24T17:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。