論文の概要: Multi-objective Neural Architecture Search via Non-stationary Policy Gradient

• arxiv url: http://arxiv.org/abs/2001.08437v2
• Date: Fri, 31 Jan 2020 03:42:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 12:40:06.076550
• Title: Multi-objective Neural Architecture Search via Non-stationary Policy Gradient
• Title（参考訳）: 非定常的ポリシー勾配による多目的ニューラルアーキテクチャ探索
• Authors: Zewei Chen, Fengwei Zhou, George Trimponias, Zhenguo Li
• Abstract要約: マルチオブジェクトニューラルアーキテクチャサーチ(NAS)は、複数の競合する目標が存在する場合に、新しいアーキテクチャを発見することを目的としている。 本研究では,非定常政策勾配(NPG)の強化学習に基づく新しいパラダイムについて検討する。
• 参考スコア（独自算出の注目度）: 43.70611769739058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective Neural Architecture Search (NAS) aims to discover novel architectures in the presence of multiple conflicting objectives. Despite recent progress, the problem of approximating the full Pareto front accurately and efficiently remains challenging. In this work, we explore the novel reinforcement learning (RL) based paradigm of non-stationary policy gradient (NPG). NPG utilizes a non-stationary reward function, and encourages a continuous adaptation of the policy to capture the entire Pareto front efficiently. We introduce two novel reward functions with elements from the dominant paradigms of scalarization and evolution. To handle non-stationarity, we propose a new exploration scheme using cosine temperature decay with warm restarts. For fast and accurate architecture evaluation, we introduce a novel pre-trained shared model that we continuously fine-tune throughout training. Our extensive experimental study with various datasets shows that our framework can approximate the full Pareto front well at fast speeds. Moreover, our discovered cells can achieve supreme predictive performance compared to other multi-objective NAS methods, and other single-objective NAS methods at similar network sizes. Our work demonstrates the potential of NPG as a simple, efficient, and effective paradigm for multi-objective NAS.
• Abstract（参考訳）: マルチオブジェクトニューラルアーキテクチャサーチ(NAS)は、複数の競合する目標が存在する場合に、新しいアーキテクチャを発見することを目的としている。 近年の進展にもかかわらず、パレートフロント全体を正確かつ効率的に近似する問題は依然として困難である。 本研究では,非定常政策勾配(NPG)の新たな強化学習(RL)パラダイムについて検討する。 NPGは非定常報酬関数を使用し、ポリシーの継続的な適応を奨励し、パレートフロント全体を効率的に捉える。 我々は,スカラー化と進化という支配的パラダイムの要素を持つ2つの新しい報酬関数を導入する。 非定常性を扱うために,コサイン温度減衰と温度再起動を用いた新しい探査手法を提案する。 アーキテクチャ評価を迅速かつ正確なものにするために、トレーニングを通じて継続的に微調整を行う、新しい事前学習共有モデルを導入する。 様々なデータセットを用いた大規模な実験により、我々のフレームワークはパレートフロント全体を高速に近似できることを示した。 さらに,他の多目的NAS法や同一のネットワークサイズでの単目的NAS法と比較して,最大予測性能が得られた。 我々の研究は、多目的NASのための単純で効率的で効果的なパラダイムとしてのNPGの可能性を示す。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning [4.7210697296108926]
  本稿では,政策勾配を用いて単一ニューラルネットワークを学習する多目的強化学習(MORL)アルゴリズムを提案する。 提案手法はポリシーネットワークの設計変更を伴わない連続的かつ離散的な行動空間で機能する。
  論文  参考訳（メタデータ） (2023-03-15T20:07:48Z)
• Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
  ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。 セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。 提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
  論文  参考訳（メタデータ） (2022-08-14T10:18:51Z)
• Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search [15.454709248397208]
  本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。 オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。 さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
  論文  参考訳（メタデータ） (2021-09-14T13:28:07Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。