論文の概要: DiffusionNAG: Task-guided Neural Architecture Generation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.16943v1
• Date: Fri, 26 May 2023 13:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 14:36:36.341128
• Title: DiffusionNAG: Task-guided Neural Architecture Generation with Diffusion Models
• Title（参考訳）: DiffusionNAG: 拡散モデルを用いたタスク誘導型ニューラルネットワーク生成
• Authors: Sohyun An, Hayeon Lee, Jaehyeong Jo, Seanie Lee, Sung Ju Hwang
• Abstract要約: 本稿では,DiffusionNAGと呼ばれる拡散モデルに基づく,伝達可能なタスク誘導型ニューラルアーキテクチャ生成(NAG)フレームワークを提案する。 本研究では,DiffusionNAGがアーキテクチャ生成品質における最先端のNAGモデルと,計算コストを大幅に削減した4つのコンピュータビジョンデータセット上でのNAS手法を比較検討した。
• 参考スコア（独自算出の注目度）: 55.589066435915385
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural Architecture Search (NAS) has emerged as a powerful technique for automating neural architecture design. However, existing NAS methods either require an excessive amount of time for repetitive training or sampling of many task-irrelevant architectures. Moreover, they lack generalization across different tasks and usually require searching for optimal architectures for each task from scratch without reusing the knowledge from the previous NAS tasks. To tackle such limitations of existing NAS methods, we propose a novel transferable task-guided Neural Architecture Generation (NAG) framework based on diffusion models, dubbed DiffusionNAG. With the guidance of a surrogate model, such as a performance predictor for a given task, our DiffusionNAG can generate task-optimal architectures for diverse tasks, including unseen tasks. DiffusionNAG is highly efficient as it generates task-optimal neural architectures by leveraging the prior knowledge obtained from the previous tasks and neural architecture distribution. Furthermore, we introduce a score network to ensure the generation of valid architectures represented as directed acyclic graphs, unlike existing graph generative models that focus on generating undirected graphs. Extensive experiments demonstrate that DiffusionNAG significantly outperforms the state-of-the-art transferable NAG model in architecture generation quality, as well as previous NAS methods on four computer vision datasets with largely reduced computational cost.
• Abstract（参考訳）: neural architecture search(nas)は、ニューラルネットワーク設計を自動化する強力な技術として登場した。 しかし、既存のNASメソッドは繰り返しトレーニングや多くのタスク非関連アーキテクチャのサンプリングに過剰な時間を必要とする。 さらに、それらは異なるタスクにまたがる一般化を欠き、通常、以前のNASタスクからの知識を再利用することなく、スクラッチから各タスクに最適なアーキテクチャを探す必要がある。 既存のNAS手法の制限に対処するため,DiffusionNAGと呼ばれる拡散モデルに基づく,伝達可能なタスク誘導型ニューラルアーキテクチャ生成(NAG)フレームワークを提案する。 与えられたタスクのパフォーマンス予測器などの代理モデルのガイダンスにより、DiffusionNAGは、目に見えないタスクを含む多様なタスクのためのタスク最適化アーキテクチャを生成することができる。 拡散NAGは、以前のタスクから得られた知識とニューラルアーキテクチャ分布を活用することにより、タスク最適化ニューラルアーキテクチャを生成するため、非常に効率的である。 さらに,非有向グラフ生成に注目した既存のグラフ生成モデルとは異なり,有向非巡回グラフとして表現される有効なアーキテクチャを生成するためのスコアネットワークを提案する。 大規模な実験により、DiffusionNAGはアーキテクチャ生成品質において最先端のトランスファー可能なNAGモデルと、計算コストを大幅に削減した4つのコンピュータビジョンデータセット上のNAS手法を著しく上回っていることが示された。

関連論文リスト

• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• Speeding up NAS with Adaptive Subset Selection [21.31075249079979]
  ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。 両分野から最先端技術を利用するアルゴリズムを考案する。 結果は複数のデータセットで一致しています。
  論文  参考訳（メタデータ） (2022-11-02T19:48:42Z)
• PredNAS: A Universal and Sample Efficient Neural Architecture Search Framework [20.59478264338981]
  ニューラル・アーキテクチャ・サーチ(NAS)のための汎用的で効果的なフレームワークであるPredNASを提案する。 我々はニューラル予測器を性能予測器として採用する。驚いたことに、PredNASはNASベンチマークの最先端のパフォーマンスを、少数のトレーニングサンプルで達成できる。
  論文  参考訳（メタデータ） (2022-10-26T04:15:58Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
  BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである 提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。 また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
  論文  参考訳（メタデータ） (2020-07-16T21:58:43Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。