論文の概要: DiffusionNAG: Predictor-guided Neural Architecture Generation with
Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.16943v3
- Date: Fri, 19 Jan 2024 21:38:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 21:36:04.280408
- Title: DiffusionNAG: Predictor-guided Neural Architecture Generation with
Diffusion Models
- Title(参考訳): DiffusionNAG:拡散モデルを用いた予測型ニューラルネットワーク生成
- Authors: Sohyun An, Hayeon Lee, Jaehyeong Jo, Seanie Lee, Sung Ju Hwang
- Abstract要約: 本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
2つの予測型NASシナリオにおける広範囲な実験を通してDiffusionNAGの有効性を検証する。
- 参考スコア(独自算出の注目度): 60.70651816115052
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing NAS methods suffer from either an excessive amount of time for
repetitive sampling and training of many task-irrelevant architectures. To
tackle such limitations of existing NAS methods, we propose a paradigm shift
from NAS to a novel conditional Neural Architecture Generation (NAG) framework
based on diffusion models, dubbed DiffusionNAG. Specifically, we consider the
neural architectures as directed graphs and propose a graph diffusion model for
generating them. Moreover, with the guidance of parameterized predictors,
DiffusionNAG can flexibly generate task-optimal architectures with the desired
properties for diverse tasks, by sampling from a region that is more likely to
satisfy the properties. This conditional NAG scheme is significantly more
efficient than previous NAS schemes which sample the architectures and filter
them using the property predictors. We validate the effectiveness of
DiffusionNAG through extensive experiments in two predictor-based NAS
scenarios: Transferable NAS and Bayesian Optimization (BO)-based NAS.
DiffusionNAG achieves superior performance with speedups of up to 20 times when
compared to the baselines on Transferable NAS benchmarks. Furthermore, when
integrated into a BO-based algorithm, DiffusionNAG outperforms existing
BO-based NAS approaches, particularly in the large MobileNetV3 search space on
the ImageNet 1K dataset.
- Abstract(参考訳): 既存のNAS手法は、繰り返しサンプリングや多くのタスク非関連アーキテクチャの訓練に過剰な時間を要する。
既存のNAS手法の制限に対処するため,DiffusionNAGと呼ばれる拡散モデルに基づく,NASから新しい条件付きニューラルネットワーク生成(NAG)フレームワークへのパラダイムシフトを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するグラフ拡散モデルを提案する。
さらに、パラメータ化された予測器のガイダンスにより、d diffusionnagは様々なタスクに望ましい特性を持つタスク最適アーキテクチャを柔軟に生成することができる。
この条件付きNAGスキームは、アーキテクチャをサンプリングし、特性予測器を用いてフィルタリングする以前のNASスキームよりもはるかに効率的である。
我々は,transportable nas と bayesian optimization (bo) を用いたnas の2つの予測系において,distributionnag の有効性を検証する。
DiffusionNAGは、Transferable NASベンチマークのベースラインと比較して最大20倍のスピードアップを達成している。
さらに、BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れる。
関連論文リスト
- Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳(メタデータ) (2023-08-31T14:54:06Z) - Speeding up NAS with Adaptive Subset Selection [21.31075249079979]
ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。
両分野から最先端技術を利用するアルゴリズムを考案する。
結果は複数のデータセットで一致しています。
論文 参考訳(メタデータ) (2022-11-02T19:48:42Z) - PredNAS: A Universal and Sample Efficient Neural Architecture Search
Framework [20.59478264338981]
ニューラル・アーキテクチャ・サーチ(NAS)のための汎用的で効果的なフレームワークであるPredNASを提案する。
我々はニューラル予測器を性能予測器として採用する。驚いたことに、PredNASはNASベンチマークの最先端のパフォーマンスを、少数のトレーニングサンプルで達成できる。
論文 参考訳(メタデータ) (2022-10-26T04:15:58Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳(メタデータ) (2022-09-15T12:11:41Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8~4倍の高速化を実現している。
論文 参考訳(メタデータ) (2022-03-23T13:44:15Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳(メタデータ) (2020-09-08T15:51:23Z) - BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである
提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。
また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
論文 参考訳(メタデータ) (2020-07-16T21:58:43Z) - Hyperparameter Optimization in Neural Networks via Structured Sparse
Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。
本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。
本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文 参考訳(メタデータ) (2020-07-07T00:57:09Z) - NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search [9.038625856798227]
ニューラルアーキテクチャ探索(NAS)におけるEAの探索能力を高めるためのニューラル予測器誘導進化アルゴリズムを提案する。
NPENAS-BOとNPENAS-NPは、既存のNASアルゴリズムよりも優れている。
論文 参考訳(メタデータ) (2020-03-28T17:56:31Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳(メタデータ) (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。