論文の概要: Evolution Meets Diffusion: Efficient Neural Architecture Generation

• arxiv url: http://arxiv.org/abs/2504.17827v3
• Date: Wed, 30 Apr 2025 08:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.529386
• Title: Evolution Meets Diffusion: Efficient Neural Architecture Generation
• Title（参考訳）: 進化と拡散 - 効率的なニューラルネットワーク生成
• Authors: Bingye Zhou, Caiyang Yu,
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、ディープラーニングモデル設計におけるトランスフォーメーションの可能性について広く注目を集めている。 進化的拡散に基づくニューラルアーキテクチャ生成(EDNAG)を提案する。 EDNAGはアーキテクチャ最適化における最新技術(SOTA)のパフォーマンスを最大10.45%向上させた。 時間を要するトレーニングの必要性を排除し、推論速度を平均50倍に向上させ、その例外的な効率性と効果を示す。
• 参考スコア（独自算出の注目度）: 1.8284471682448833
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural Architecture Search (NAS) has gained widespread attention for its transformative potential in deep learning model design. However, the vast and complex search space of NAS leads to significant computational and time costs. Neural Architecture Generation (NAG) addresses this by reframing NAS as a generation problem, enabling the precise generation of optimal architectures for specific tasks. Despite its promise, mainstream methods like diffusion models face limitations in global search capabilities and are still hindered by high computational and time demands. To overcome these challenges, we propose Evolutionary Diffusion-based Neural Architecture Generation (EDNAG), a novel approach that achieves efficient and training-free architecture generation. EDNAG leverages evolutionary algorithms to simulate the denoising process in diffusion models, using fitness to guide the transition from random Gaussian distributions to optimal architecture distributions. This approach combines the strengths of evolutionary strategies and diffusion models, enabling rapid and effective architecture generation. Extensive experiments demonstrate that EDNAG achieves state-of-the-art (SOTA) performance in architecture optimization, with an improvement in accuracy of up to 10.45%. Furthermore, it eliminates the need for time-consuming training and boosts inference speed by an average of 50 times, showcasing its exceptional efficiency and effectiveness.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、ディープラーニングモデル設計におけるトランスフォーメーションの可能性について広く注目を集めている。 しかし、NASの広大かつ複雑な探索空間は、計算コストと時間コストに大きく寄与する。 ニューラルアーキテクチャ生成(NAG)は、NASを生成問題とみなし、特定のタスクに最適なアーキテクチャを正確に生成可能にすることで、この問題に対処する。 その約束にもかかわらず、拡散モデルのような主流の手法は、グローバル検索能力の限界に直面し、依然として高い計算量と時間的要求によって妨げられている。 これらの課題を克服するために,進化的拡散に基づくニューラルアーキテクチャ生成(EDNAG)を提案する。 EDNAGは進化的アルゴリズムを利用して拡散モデルにおけるデノナイジング過程をシミュレートし、適応性を用いてランダムなガウス分布から最適なアーキテクチャ分布への遷移を導く。 このアプローチは進化戦略と拡散モデルの強みを組み合わせて、迅速かつ効果的なアーキテクチャ生成を可能にする。 大規模な実験により、EDNAGはアーキテクチャ最適化における最先端(SOTA)のパフォーマンスを10.45%の精度で達成している。 さらに、時間を要するトレーニングの必要性を排除し、推論速度を平均50倍に向上させ、その例外的な効率性と有効性を示す。

関連論文リスト

• Ecological Neural Architecture Search [0.0]
  本稿ではNevo Ecological Neural Architecture Search (ENAS)を紹介する。 ENASは、進化的パラメータを候補のソリューションの表現型に直接組み込んでおり、アーキテクチャ仕様と並行して動的に進化することができる。
  論文  参考訳（メタデータ） (2025-03-13T21:40:25Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Optimizing Neural Architecture Search using Limited GPU Time in a Dynamic Search Space: A Gene Expression Programming Approach [0.0]
  本稿では,畳み込みモデルの効率的な発見のための進化的ニューラルネットワーク探索手法を提案する。 効率的な検索環境と表現型表現により、遺伝子発現プログラミングはネットワークのセル生成に適応する。 提案手法は手動で設計した畳み込みネットワークやNAS生成ネットワークと類似し, 同様に制約された進化に基づくNAS作業にも勝っている。
  論文  参考訳（メタデータ） (2020-05-15T17:32:30Z)
• Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search [22.483917379706725]
  進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。 本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。 提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-07T12:33:01Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。