論文の概要: A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism
- arxiv url: http://arxiv.org/abs/2407.15600v1
- Date: Mon, 22 Jul 2024 12:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 15:01:15.061813
- Title: A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism
- Title（参考訳）: 多人数メカニズムを用いた多目的進化型ニューラルネットワーク探索法の比較検討
- Authors: Yu Xue, Chenchen Zhu, MengChu Zhou, Mohamed Wahib, Moncef Gabbouj,
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
- 参考スコア（独自算出の注目度）: 58.855741970337675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) enables re-searchers to automatically explore vast search spaces and find efficient neural networks. But NAS suffers from a key bottleneck, i.e., numerous architectures need to be evaluated during the search process, which requires a lot of computing resources and time. In order to improve the efficiency of NAS, a series of methods have been proposed to reduce the evaluation time of neural architectures. However, they are not efficient enough and still only focus on the accuracy of architectures. In addition to the classification accuracy, more efficient and smaller network architectures are required in real-world applications. To address the above problems, we propose the SMEM-NAS, a pairwise com-parison relation-assisted multi-objective evolutionary algorithm based on a multi-population mechanism. In the SMEM-NAS, a surrogate model is constructed based on pairwise compari-son relations to predict the accuracy ranking of architectures, rather than the absolute accuracy. Moreover, two populations cooperate with each other in the search process, i.e., a main population guides the evolution, while a vice population expands the diversity. Our method aims to provide high-performance models that take into account multiple optimization objectives. We conduct a series of experiments on the CIFAR-10, CIFAR-100 and ImageNet datasets to verify its effectiveness. With only a single GPU searching for 0.17 days, competitive architectures can be found by SMEM-NAS which achieves 78.91% accuracy with the MAdds of 570M on the ImageNet. This work makes a significant advance in the important field of NAS.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
しかし、NASは重要なボトルネック、すなわち、多くのコンピューティングリソースと時間を必要とする検索プロセス中に多くのアーキテクチャを評価する必要があることに悩まされている。
NASの効率を改善するために、ニューラルネットワークの評価時間を短縮する一連の手法が提案されている。
しかし、それらは十分に効率的ではなく、それでもアーキテクチャの正確性にのみ焦点を当てている。
分類精度に加えて、現実世界のアプリケーションではより効率的でより小さなネットワークアーキテクチャが必要である。
上記の問題に対処するため,多集団機構に基づく相互比較型多目的進化アルゴリズムSMEM-NASを提案する。
SMEM-NASでは、絶対精度ではなく、相互比較ソン関係に基づいて代理モデルを構築し、アーキテクチャの精度ランキングを予測する。
さらに、2つの個体群が探索過程において互いに協力し合い、すなわち、主な個体群が進化を導く一方、副個体群は多様性を拡大する。
提案手法は,複数の最適化目標を考慮した高性能モデルの提供を目的としている。
我々は,CIFAR-10,CIFAR-100およびImageNetデータセット上で,その有効性を検証する一連の実験を行った。
たった1つのGPUで0.17日間検索するだけで、競合アーキテクチャはSMEM-NASによって発見され、ImageNet上の570MのMaddsで78.91%の精度が達成される。
この研究はNASの重要な分野において大きな進歩を遂げている。
関連論文リスト
- Multi-Objective Neural Architecture Search by Learning Search Space Partitions [8.4553113915588]
ニューラルアーキテクチャ探索(NAS)タスクにLaMOOと呼ばれる新しいメタアルゴリズムを実装した。
LaMOOは、観測されたサンプルからモデルを学び、検索空間を分割し、将来性のある領域に集中することによって、検索プロセスを高速化する。
現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。
論文 参考訳（メタデータ） (2024-06-01T03:51:34Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - Efficient Architecture Search for Diverse Tasks [29.83517145790238]
多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。
本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。
DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
論文 参考訳（メタデータ） (2022-04-15T17:21:27Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - Evolutionary Neural Architecture Search Supporting Approximate
Multipliers [0.5414308305392761]
進化的畳み込みニューラルネットワーク(CNN)のためのカルト的遺伝的プログラミングに基づく多目的NAS法を提案する。
最も適切な近似乗算器は、近似乗算器のライブラリから自動的に選択される。
進化したCNNは、CIFAR-10ベンチマーク問題に類似した複雑さを持つ一般的な人間によるCNNと比較される。
論文 参考訳（メタデータ） (2021-01-28T09:26:03Z) - Neural Architecture Search with an Efficient Multiobjective Evolutionary
Framework [0.0]
本稿では,効率的な多目的ニューラルアーキテクチャ探索フレームワークであるEMONASを提案する。
EMONASは、アーキテクチャのマクロ構造とマイクロ構造の両方を考慮した検索空間で構成されている。
MICCAI ACDCの課題から3次元心筋セグメンテーションの課題について検討した。
論文 参考訳（メタデータ） (2020-11-09T14:41:10Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。