論文の概要: Accelerating Multi-Objective Neural Architecture Search by Random-Weight
Evaluation
- arxiv url: http://arxiv.org/abs/2110.05242v1
- Date: Fri, 8 Oct 2021 06:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-17 12:01:56.064980
- Title: Accelerating Multi-Objective Neural Architecture Search by Random-Weight
Evaluation
- Title（参考訳）: ランダムウェイト評価による多目的ニューラルアーキテクチャ探索の高速化
- Authors: Shengran Hu, Ran Cheng, Cheng He, Zhichao Lu, Jing Wang, Miao Zhang
- Abstract要約: 我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。
RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。
提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
- 参考スコア（独自算出の注目度）: 24.44521525130034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For the goal of automated design of high-performance deep convolutional
neural networks (CNNs), Neural Architecture Search (NAS) methodology is
becoming increasingly important for both academia and industries.Due to the
costly stochastic gradient descent (SGD) training of CNNs for performance
evaluation, most existing NAS methods are computationally expensive for
real-world deployments. To address this issue, we first introduce a new
performance estimation metric, named Random-Weight Evaluation (RWE) to quantify
the quality of CNNs in a cost-efficient manner. Instead of fully training the
entire CNN, the RWE only trains its last layer and leaves the remainders with
randomly initialized weights, which results in a single network evaluation in
seconds.Second, a complexity metric is adopted for multi-objective NAS to
balance the model size and performance. Overall, our proposed method obtains a
set of efficient models with state-of-the-art performance in two real-world
search spaces. Then the results obtained on the CIFAR-10 dataset are
transferred to the ImageNet dataset to validate the practicality of the
proposed algorithm. Moreover, ablation studies on NAS-Bench-301 datasets reveal
the effectiveness of the proposed RWE in estimating the performance compared
with existing methods.
- Abstract（参考訳）: 高性能深層畳み込みニューラルネットワーク(cnns)の自動設計の目標として,ニューラルネットワーク探索(nas)手法が学界と産業の両方でますます重要になっている。cnnsのsgd訓練による性能評価により,既存のnas手法のほとんどは実世界の展開に計算コストがかかる。
この問題に対処するために、我々はまずRWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入し、CNNの品質をコスト効率よく定量化する。
CNN全体を完全トレーニングする代わりに、RWEは最後の層のみをトレーニングし、残りの層をランダムに初期化した重みで残し、結果として1つのネットワーク評価を数秒で行う。
提案手法は,2つの実世界の検索空間において,最先端性能を持つ効率的なモデルセットを得る。
CIFAR-10データセットで得られた結果はImageNetデータセットに転送され、提案アルゴリズムの実用性を検証する。
さらに,nas-bench-301データセットのアブレーション研究により,提案法の有効性が従来の手法と比較して明らかにされた。
関連論文リスト
- NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。
慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2021-10-24T12:20:04Z) - Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。
データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。
提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
論文 参考訳（メタデータ） (2021-03-02T06:30:51Z) - PEng4NN: An Accurate Performance Estimation Engine for Efficient
Automated Neural Network Architecture Search [0.0]
ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。
NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。
本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
論文 参考訳（メタデータ） (2021-01-11T20:49:55Z) - Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。
RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。
進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
論文 参考訳（メタデータ） (2020-11-27T07:39:17Z) - Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している
本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。
ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
論文 参考訳（メタデータ） (2020-11-19T13:46:23Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。