論文の概要: Tackling Neural Architecture Search With Quality Diversity Optimization
- arxiv url: http://arxiv.org/abs/2208.00204v1
- Date: Sat, 30 Jul 2022 12:53:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:43:25.165173
- Title: Tackling Neural Architecture Search With Quality Diversity Optimization
- Title（参考訳）: 品質の多様性を最適化したニューラルアーキテクチャ探索
- Authors: Lennart Schneider, Florian Pfisterer, Paul Kent, Juergen Branke, Bernd
Bischl, Janek Thomas
- Abstract要約: 我々は,実利の実際の最適化問題と多目的NASが解決しようとする最適化問題との間には,いくつかの相違があると主張している。
我々は,多目的NAS問題を品質多様性(QDO)問題として定式化することで,この相違を解消する。
これらを多目的のものと比較することにより、一般の品質多様性NASが、ソリューションの品質と効率性に関して、多目的のNASより優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.685068326729525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural architecture search (NAS) has been studied extensively and has grown
to become a research field with substantial impact. While classical
single-objective NAS searches for the architecture with the best performance,
multi-objective NAS considers multiple objectives that should be optimized
simultaneously, e.g., minimizing resource usage along the validation error.
Although considerable progress has been made in the field of multi-objective
NAS, we argue that there is some discrepancy between the actual optimization
problem of practical interest and the optimization problem that multi-objective
NAS tries to solve. We resolve this discrepancy by formulating the
multi-objective NAS problem as a quality diversity optimization (QDO) problem
and introduce three quality diversity NAS optimizers (two of them belonging to
the group of multifidelity optimizers), which search for high-performing yet
diverse architectures that are optimal for application-specific niches, e.g.,
hardware constraints. By comparing these optimizers to their multi-objective
counterparts, we demonstrate that quality diversity NAS in general outperforms
multi-objective NAS with respect to quality of solutions and efficiency. We
further show how applications and future NAS research can thrive on QDO.
- Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)は広く研究され、大きな影響を与える研究分野となった。
古典的な単一目的nasは最高のパフォーマンスでアーキテクチャを検索するが、マルチ目的nasは複数の目的を同時に最適化する必要があると考えている。
多目的NASの分野では大きな進歩があったが、実際的な関心事の最適化問題と多目的NASが解決しようとする最適化問題との間には多少の相違があることを論じる。
我々は、多目的nas問題を品質多様性最適化(qdo)問題として定式化し、3つの品質多様性nasオプティマイザ(うち2つはマルチフィデリティオプティマイザグループに属する)を導入し、アプリケーション固有のニッチ(例えばハードウェア制約)に最適な高性能かつ多様なアーキテクチャを探索することにより、この不一致を解消する。
これらの最適化器を多目的のものと比べることで, 品質の多様性NASが, ソリューションの品質や効率性に対して多目的のNASより優れていることを示す。
さらに、アプリケーションと今後のNAS研究がQDOでどのように成長するかを示す。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。
提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
論文 参考訳（メタデータ） (2024-02-28T10:09:04Z) - How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS
Predictor [22.87207410692821]
我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。
我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
論文 参考訳（メタデータ） (2023-11-30T10:51:46Z) - Generalizable Lightweight Proxy for Robust NAS against Diverse
Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。
クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。
提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文 参考訳（メタデータ） (2023-06-08T08:34:26Z) - Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment [30.264524448340406]
ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。
最適化の観点から複素特性を解析する。
EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-08T02:07:49Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - TND-NAS: Towards Non-differentiable Objectives in Progressive
Differentiable NAS Framework [6.895590095853327]
微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。
最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。
微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
論文 参考訳（メタデータ） (2021-11-06T14:19:36Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している
本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。
ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
論文 参考訳（メタデータ） (2020-11-19T13:46:23Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。