論文の概要: Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2109.07582v2
• Date: Sat, 9 Mar 2024 00:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 18:16:35.128084
• Title: Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search
• Title（参考訳）: 多目的進化型ニューラルアーキテクチャ探索のためのパレートワイド分類器
• Authors: Lianbo Ma, Nan Li, Guo Yu, Xiaoyu Geng, Min Huang and Xingwei Wang
• Abstract要約: 本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。 オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。 さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
• 参考スコア（独自算出の注目度）: 15.454709248397208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the deployment of deep neural models, how to effectively and automatically find feasible deep models under diverse design objectives is fundamental. Most existing neural architecture search (NAS) methods utilize surrogates to predict the detailed performance (e.g., accuracy and model size) of a candidate architecture during the search, which however is complicated and inefficient. In contrast, we aim to learn an efficient Pareto classifier to simplify the search process of NAS by transforming the complex multi-objective NAS task into a simple Pareto-dominance classification task. To this end, we propose a classification-wise Pareto evolution approach for one-shot NAS, where an online classifier is trained to predict the dominance relationship between the candidate and constructed reference architectures, instead of using surrogates to fit the objective functions. The main contribution of this study is to change supernet adaption into a Pareto classifier. Besides, we design two adaptive schemes to select the reference set of architectures for constructing classification boundary and regulate the rate of positive samples over negative ones, respectively. We compare the proposed evolution approach with state-of-the-art approaches on widely-used benchmark datasets, and experimental results indicate that the proposed approach outperforms other approaches and have found a number of neural architectures with different model sizes ranging from 2M to 6M under diverse objectives and constraints.
• Abstract（参考訳）: ディープニューラルモデルのデプロイでは、さまざまな設計目標の下で、効果的かつ自動的に実行可能なディープモデルを見つける方法が基本です。 既存のニューラルネットワーク検索(nas)メソッドの多くは、サーロゲートを使用して、検索中の候補アーキテクチャの詳細なパフォーマンス(精度やモデルサイズなど)を予測するが、複雑で非効率である。 対照的に、複雑な多目的NASタスクを単純なPareto-dominanceタスクに変換することで、NASの探索プロセスを簡素化する効率的なPareto分類器を学習することを目指している。 そこで本研究では,対象関数に適合するサロゲートを使わずに,候補と構築した参照アーキテクチャ間の支配関係を予測するオンライン分類器を訓練した,ワンショットnasのための分類指向パレート進化手法を提案する。 本研究の主な貢献は,スーパーネット適応をパレート分類器に変更することである。 また,2つの適応スキームを設計,分類境界を構築するためのアーキテクチャの参照集合を選定し,それぞれ負のサンプルに対する正のサンプルの割合を規制する。 提案手法を,広く使用されているベンチマークデータセットにおける最先端手法と比較し,提案手法が他の手法よりも優れており,様々な目的や制約の下で,モデルサイズが2mから6mの異なる複数のニューラルアーキテクチャを見出した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search [12.545742558041583]
  我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。 我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。 それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
  論文  参考訳（メタデータ） (2023-06-05T07:32:47Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
  ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。 セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。 提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
  論文  参考訳（メタデータ） (2022-08-14T10:18:51Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation [4.793219747021116]
  我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。 本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-24T17:59:02Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Network Architecture Search for Domain Adaptation [11.24426822697648]
  ドメイン適応のための最適なネットワークアーキテクチャを導出するために、微分可能なニューラルアーキテクチャ探索を利用する原理的フレームワークであるNeural Architecture Search for Domain Adaptation (NASDA)を提案する。 我々は、NASDAがいくつかのドメイン適応ベンチマークで最先端の性能をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2020-08-13T06:15:57Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Multi-objective Neural Architecture Search via Non-stationary Policy Gradient [43.70611769739058]
  マルチオブジェクトニューラルアーキテクチャサーチ(NAS)は、複数の競合する目標が存在する場合に、新しいアーキテクチャを発見することを目的としている。 本研究では,非定常政策勾配(NPG)の強化学習に基づく新しいパラダイムについて検討する。
  論文  参考訳（メタデータ） (2020-01-23T10:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。