論文の概要: Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment
- arxiv url: http://arxiv.org/abs/2208.04321v2
- Date: Tue, 18 Apr 2023 14:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 18:42:47.782541
- Title: Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment
- Title（参考訳）: 多目的最適化ベンチマークとしてのニューラルアーキテクチャ探索:問題定式化と性能評価
- Authors: Zhichao Lu, Ran Cheng, Yaochu Jin, Kay Chen Tan, and Kalyanmoy Deb
- Abstract要約: ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。
最適化の観点から複素特性を解析する。
EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
- 参考スコア（独自算出の注目度）: 30.264524448340406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ongoing advancements in network architecture design have led to
remarkable achievements in deep learning across various challenging computer
vision tasks. Meanwhile, the development of neural architecture search (NAS)
has provided promising approaches to automating the design of network
architectures for lower prediction error. Recently, the emerging application
scenarios of deep learning have raised higher demands for network architectures
considering multiple design criteria: number of parameters/floating-point
operations, and inference latency, among others. From an optimization point of
view, the NAS tasks involving multiple design criteria are intrinsically
multiobjective optimization problems; hence, it is reasonable to adopt
evolutionary multiobjective optimization (EMO) algorithms for tackling them.
Nonetheless, there is still a clear gap confining the related research along
this pathway: on the one hand, there is a lack of a general problem formulation
of NAS tasks from an optimization point of view; on the other hand, there are
challenges in conducting benchmark assessments of EMO algorithms on NAS tasks.
To bridge the gap: (i) we formulate NAS tasks into general multi-objective
optimization problems and analyze the complex characteristics from an
optimization point of view; (ii) we present an end-to-end pipeline, dubbed
$\texttt{EvoXBench}$, to generate benchmark test problems for EMO algorithms to
run efficiently -- without the requirement of GPUs or Pytorch/Tensorflow; (iii)
we instantiate two test suites comprehensively covering two datasets, seven
search spaces, and three hardware devices, involving up to eight objectives.
Based on the above, we validate the proposed test suites using six
representative EMO algorithms and provide some empirical analyses. The code of
$\texttt{EvoXBench}$ is available from
$\href{https://github.com/EMI-Group/EvoXBench}{\rm{here}}$.
- Abstract（参考訳）: ネットワークアーキテクチャ設計の継続的な進歩は、様々な挑戦的なコンピュータビジョンタスクにわたるディープラーニングにおける顕著な成果をもたらした。
一方で、ニューラルネットワーク検索(nas)の開発は、予測エラーの低減のためにネットワークアーキテクチャ設計を自動化するための有望なアプローチを提供している。
近年、ディープラーニングのアプリケーションシナリオは、パラメータ/浮動小数点演算の数や推論遅延など、複数の設計基準を考慮して、ネットワークアーキテクチャの要求が高まっている。
最適化の観点からは、複数の設計基準を含むNASタスクは本質的に多目的最適化の問題であり、それに取り組むために進化的多目的最適化(EMO)アルゴリズムを採用することは合理的である。
一方、最適化の観点からは、NASタスクの一般的な問題定式化が欠如しており、一方で、NASタスク上でEMOアルゴリズムのベンチマーク評価を行う上での課題がある。
ギャップを埋めるために:
(i)nasタスクを汎用多目的最適化問題に定式化し、最適化の観点から複雑な特性を分析する。
(ii)GPUやPytorch/Tensorflowを必要とせずに、EMOアルゴリズムのベンチマークテスト問題を生成するために、$\textt{EvoXBench}$と呼ばれるエンドツーエンドパイプラインを提示する。
(iii)2つのデータセット、7つの検索スペース、3つのハードウェアデバイスを包括的にカバーする2つのテストスイートをインスタンス化する。
以上の結果に基づいて,提案するテストスイートを6つの代表EMOアルゴリズムを用いて検証し,実験的検討を行った。
$\texttt{EvoXBench}$のコードは$\href{https://github.com/EMI-Group/EvoXBench}{\rm{here}}$から入手できる。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - A Survey on Multi-Objective Neural Architecture Search [9.176056742068813]
マルチオブジェクトニューラルアーキテクチャサーチ(MONAS)が注目されている。
本論では, モナスの分野における主要・最先端の著作の概要について述べる。
論文 参考訳（メタデータ） (2023-07-18T09:42:51Z) - OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳（メタデータ） (2023-03-23T21:30:29Z) - Surrogate-assisted Multi-objective Neural Architecture Search for
Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。
セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。
提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文 参考訳（メタデータ） (2022-08-14T10:18:51Z) - Arch-Graph: Acyclic Architecture Relation Predictor for
Task-Transferable Neural Architecture Search [96.31315520244605]
Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。
Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。
わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2022-04-12T16:46:06Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。
従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。
本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T00:54:27Z) - Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している
本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。
ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
論文 参考訳（メタデータ） (2020-11-19T13:46:23Z) - Neural Architecture Search with an Efficient Multiobjective Evolutionary
Framework [0.0]
本稿では,効率的な多目的ニューラルアーキテクチャ探索フレームワークであるEMONASを提案する。
EMONASは、アーキテクチャのマクロ構造とマイクロ構造の両方を考慮した検索空間で構成されている。
MICCAI ACDCの課題から3次元心筋セグメンテーションの課題について検討した。
論文 参考訳（メタデータ） (2020-11-09T14:41:10Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。