論文の概要: Neural Architecture Search with an Efficient Multiobjective Evolutionary
Framework
- arxiv url: http://arxiv.org/abs/2011.04463v1
- Date: Mon, 9 Nov 2020 14:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 00:16:58.681615
- Title: Neural Architecture Search with an Efficient Multiobjective Evolutionary
Framework
- Title(参考訳): 効率的な多目的進化フレームワークを用いたニューラルアーキテクチャ探索
- Authors: Maria Baldeon Calisto and Susana Lai-Yuen
- Abstract要約: 本稿では,効率的な多目的ニューラルアーキテクチャ探索フレームワークであるEMONASを提案する。
EMONASは、アーキテクチャのマクロ構造とマイクロ構造の両方を考慮した検索空間で構成されている。
MICCAI ACDCの課題から3次元心筋セグメンテーションの課題について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning methods have become very successful at solving many complex
tasks such as image classification and segmentation, speech recognition and
machine translation. Nevertheless, manually designing a neural network for a
specific problem is very difficult and time-consuming due to the massive
hyperparameter search space, long training times, and lack of technical
guidelines for the hyperparameter selection. Moreover, most networks are highly
complex, task specific and over-parametrized. Recently, multiobjective neural
architecture search (NAS) methods have been proposed to automate the design of
accurate and efficient architectures. However, they only optimize either the
macro- or micro-structure of the architecture requiring the unset
hyperparameters to be manually defined, and do not use the information produced
during the optimization process to increase the efficiency of the search. In
this work, we propose EMONAS, an Efficient MultiObjective Neural Architecture
Search framework for the automatic design of neural architectures while
optimizing the network's accuracy and size. EMONAS is composed of a search
space that considers both the macro- and micro-structure of the architecture,
and a surrogate-assisted multiobjective evolutionary based algorithm that
efficiently searches for the best hyperparameters using a Random Forest
surrogate and guiding selection probabilities. EMONAS is evaluated on the task
of 3D cardiac segmentation from the MICCAI ACDC challenge, which is crucial for
disease diagnosis, risk evaluation, and therapy decision. The architecture
found with EMONAS is ranked within the top 10 submissions of the challenge in
all evaluation metrics, performing better or comparable to other approaches
while reducing the search time by more than 50% and having considerably fewer
number of parameters.
- Abstract(参考訳): ディープラーニング手法は、画像分類やセグメンテーション、音声認識、機械翻訳など、多くの複雑なタスクを解くことに成功している。
それでも、ニューラルネットワークを特定の問題のために手動で設計するのは、巨大なハイパーパラメータ検索スペース、長いトレーニング時間、ハイパーパラメータ選択のための技術的なガイドラインの欠如など、非常に困難で時間を要する。
さらに、ほとんどのネットワークは複雑で、タスク固有であり、過度にパラメータ化されている。
近年,正確かつ効率的なアーキテクチャの設計を自動化するために,多目的ニューラルアーキテクチャ探索法が提案されている。
しかし、アンセットされたハイパーパラメータを手動で定義する必要のあるアーキテクチャのマクロ構造かマイクロ構造のみを最適化し、最適化プロセス中に生成された情報を検索の効率を高めるために使用しない。
本研究では,ネットワークの精度とサイズを最適化しつつ,ニューラルネットワークの自動設計のための効率的な多目的ニューラルネットワーク探索フレームワークであるemonasを提案する。
EMONASは、アーキテクチャのマクロ構造とマイクロ構造の両方を考慮した探索空間と、ランダムフォレストサロゲートを用いて最適なハイパーパラメータを効率的に探索し、選択確率を誘導するサロゲート支援多目的進化ベースアルゴリズムで構成されている。
疾患診断,リスク評価,治療決定に欠かせないMICCAI ACDCチャレンジからの3D心筋セグメンテーションを課題として評価した。
EMONASで発見されたアーキテクチャは、すべての評価指標における課題のトップ10にランクインし、検索時間を50%以上削減し、パラメータ数がかなり少なくなるとともに、他のアプローチに匹敵するパフォーマンスを実現している。
関連論文リスト
- ECToNAS: Evolutionary Cross-Topology Neural Architecture Search [0.0]
ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。
トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
論文 参考訳(メタデータ) (2024-03-08T07:36:46Z) - Surrogate-assisted Multi-objective Neural Architecture Search for
Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。
セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。
提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文 参考訳(メタデータ) (2022-08-14T10:18:51Z) - Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment [30.264524448340406]
ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。
最適化の観点から複素特性を解析する。
EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-08T02:07:49Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-03-31T10:16:10Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳(メタデータ) (2021-08-10T00:53:39Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳(メタデータ) (2021-06-21T00:44:11Z) - Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。
提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。
実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
論文 参考訳(メタデータ) (2021-03-23T13:27:24Z) - Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している
本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。
ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
論文 参考訳(メタデータ) (2020-11-19T13:46:23Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳(メタデータ) (2020-09-28T01:48:45Z) - Rethinking Performance Estimation in Neural Architecture Search [191.08960589460173]
本稿では,資源制約型システムにおける性能推定(PE)の体系的再考を行う。
BPEと強化学習,進化アルゴリズム,ランダム探索,異種アーキテクチャ探索などの様々な探索アルゴリズムを組み合わせることで,NASの1,000倍の高速化を実現した。
論文 参考訳(メタデータ) (2020-05-20T09:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。