論文の概要: POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator

• arxiv url: http://arxiv.org/abs/2409.20447v1
• Date: Mon, 30 Sep 2024 16:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 07:46:26.849092
• Title: POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator
• Title（参考訳）: POMONAG:Pareto-Optimal Many-Objective Neural Architecture Generator
• Authors: Eugenio Lomurno, Samuele Mariani, Matteo Monti, Matteo Matteucci,
• Abstract要約: Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
• 参考スコア（独自算出の注目度）: 4.09225917049674
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural Architecture Search (NAS) automates neural network design, reducing dependence on human expertise. While NAS methods are computationally intensive and dataset-specific, auxiliary predictors reduce the models needing training, decreasing search time. This strategy is used to generate architectures satisfying multiple computational constraints. Recently, Transferable NAS has emerged, generalizing the search process from dataset-dependent to task-dependent. In this field, DiffusionNAG is a state-of-the-art method. This diffusion-based approach streamlines computation, generating architectures optimized for accuracy on unseen datasets without further adaptation. However, by focusing solely on accuracy, DiffusionNAG overlooks other crucial objectives like model complexity, computational efficiency, and inference latency -- factors essential for deploying models in resource-constrained environments. This paper introduces the Pareto-Optimal Many-Objective Neural Architecture Generator (POMONAG), extending DiffusionNAG via a many-objective diffusion process. POMONAG simultaneously considers accuracy, number of parameters, multiply-accumulate operations (MACs), and inference latency. It integrates Performance Predictor models to estimate these metrics and guide diffusion gradients. POMONAG's optimization is enhanced by expanding its training Meta-Dataset, applying Pareto Front Filtering, and refining embeddings for conditional generation. These enhancements enable POMONAG to generate Pareto-optimal architectures that outperform the previous state-of-the-art in performance and efficiency. Results were validated on two search spaces -- NASBench201 and MobileNetV3 -- and evaluated across 15 image classification datasets.
• Abstract（参考訳）: ニューラルネットワーク検索(NAS)は、ニューラルネットワーク設計を自動化し、人間の専門知識への依存を減らす。 NAS法は計算集約的でデータセット固有の手法であるが、補助予測器は訓練を必要とするモデルを減らし、探索時間を短縮する。 この戦略は、複数の計算制約を満たすアーキテクチャを生成するために使用される。 最近、Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化している。 この分野では、DiffusionNAGは最先端の手法である。 この拡散ベースのアプローチは計算を合理化し、未確認データセットの精度に最適化されたアーキテクチャを生成する。 しかし、DiffusionNAGは正確性にのみ焦点をあてることで、モデル複雑さ、計算効率、推論遅延など、リソース制約のある環境にモデルをデプロイするのに不可欠な要素など、その他の重要な目標を見落としている。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張したパレート最適多目的ニューラルアーキテクチャジェネレータ(POMONAG)を提案する。 POMONAGは精度、パラメータ数、乗算累積演算(MAC)、推論遅延を同時に考慮している。 パフォーマンス予測モデルを統合して、これらのメトリクスを推定し、拡散勾配を導出する。 POMONAGの最適化は、トレーニングのMeta-Datasetを拡張し、Pareto Front Filteringを適用し、条件生成のための埋め込みを洗練することによって強化されている。 これらの拡張により、POMONAGはパレート最適化アーキテクチャを生成できる。 結果は、NASBench201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• Learning Where To Look -- Generative NAS is Surprisingly Efficient [11.83842808044211]
  本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。 このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T16:27:11Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。