論文の概要: NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of
Convolutional Neural Network Architecture and Training Hyperparameters
- arxiv url: http://arxiv.org/abs/2110.10165v1
- Date: Tue, 19 Oct 2021 18:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 14:38:57.961742
- Title: NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of
Convolutional Neural Network Architecture and Training Hyperparameters
- Title（参考訳）: NAS-HPO-Bench-II:畳み込みニューラルネットワークアーキテクチャとトレーニングハイパーパラメータの協調最適化に関するベンチマークデータセット
- Authors: Yoichi Hirose, Nozomu Yoshinari, Shinichi Shirakawa
- Abstract要約: 本稿ではNAS-HPO-Bench-IIと呼ぶ,ネットワーク接続の協調最適化とハイパーパラメータのトレーニングのためのベンチマークデータセットを提案する。
CIFAR-10データセットでトレーニングされた4Kセルベースの畳み込みニューラルネットワークアーキテクチャのパフォーマンスデータを,学習率とバッチサイズの設定で収集する。
我々は200エポックトレーニング後の精度を予測するサロゲートモデルを構築し、より長いトレーニングエポックのパフォーマンスデータを提供する。
- 参考スコア（独自算出の注目度）: 4.039245878626346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The benchmark datasets for neural architecture search (NAS) have been
developed to alleviate the computationally expensive evaluation process and
ensure a fair comparison. Recent NAS benchmarks only focus on architecture
optimization, although the training hyperparameters affect the obtained model
performances. Building the benchmark dataset for joint optimization of
architecture and training hyperparameters is essential to further NAS research.
The existing NAS-HPO-Bench is a benchmark for joint optimization, but it does
not consider the network connectivity design as done in modern NAS algorithms.
This paper introduces the first benchmark dataset for joint optimization of
network connections and training hyperparameters, which we call
NAS-HPO-Bench-II. We collect the performance data of 4K cell-based
convolutional neural network architectures trained on the CIFAR-10 dataset with
different learning rate and batch size settings, resulting in the data of 192K
configurations. The dataset includes the exact data for 12 epoch training. We
further build the surrogate model predicting the accuracies after 200 epoch
training to provide the performance data of longer training epoch. By analyzing
NAS-HPO-Bench-II, we confirm the dependency between architecture and training
hyperparameters and the necessity of joint optimization. Finally, we
demonstrate the benchmarking of the baseline optimization algorithms using
NAS-HPO-Bench-II.
- Abstract（参考訳）: ニューラルネットワーク探索のためのベンチマークデータセット(NAS)は、計算コストの高い評価プロセスを緩和し、公正な比較を保証するために開発された。
最近のNASベンチマークはアーキテクチャ最適化のみに焦点を当てているが、トレーニングハイパーパラメータは得られたモデル性能に影響を与える。
アーキテクチャの協調最適化とトレーニングハイパーパラメータのためのベンチマークデータセットの構築は、nas研究に不可欠である。
既存のNAS-HPO-Benchは共同最適化のベンチマークであるが、現在のNASアルゴリズムのようにネットワーク接続設計を考慮していない。
本稿ではNAS-HPO-Bench-IIと呼ぶ,ネットワーク接続の協調最適化とハイパーパラメータのトレーニングのためのベンチマークデータセットを提案する。
学習速度とバッチサイズ設定の異なるcifar-10データセットでトレーニングされた4kセル型畳み込みニューラルネットワークアーキテクチャのパフォーマンスデータを収集し,192k構成のデータを得る。
データセットには、12エポックトレーニングの正確なデータが含まれている。
さらに,200エポックトレーニング後の精度を予測するサロゲートモデルを構築し,より長いトレーニングエポックのパフォーマンスデータを提供する。
NAS-HPO-Bench-IIを解析することにより、アーキテクチャとトレーニングハイパーパラメータの依存性と共同最適化の必要性を確認する。
最後に,NAS-HPO-Bench-IIを用いたベースライン最適化アルゴリズムのベンチマークを行った。
関連論文リスト
- Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS [3.598880812393792]
本稿では,ベンチマーク構築のコストをかなりのマージンで削減する,訓練プロキシの検索を可能にする手法を提案する。
ベンチマークは正確で,最先端のハードウェア対応モデルをコストゼロで検索できることを示す。
論文 参考訳（メタデータ） (2024-04-09T06:23:41Z) - DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。
BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
論文 参考訳（メタデータ） (2023-05-26T13:58:18Z) - Lightweight Neural Architecture Search for Temporal Convolutional
Networks at the Edge [21.72253397805102]
この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。
我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。
提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
論文 参考訳（メタデータ） (2023-01-24T19:47:40Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - Bag of Baselines for Multi-objective Joint Neural Architecture Search
and Hyperparameter Optimization [29.80410614305851]
ニューラルネットワークアーキテクチャ検索(NAS)とハイパーパラメータ最適化(HPO)により、ディープラーニングは非専門家にアクセスできます。
本稿では,複数の目的に対して,ニューラルネットワークとハイパーパラメータを共同で最適化する手法を提案する。
これらの方法は、マルチオブジェクトジョイントNAS + HPOの将来の研究のための単純なベースラインとして機能します。
論文 参考訳（メタデータ） (2021-05-03T17:04:56Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである
提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。
また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
論文 参考訳（メタデータ） (2020-07-16T21:58:43Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。