論文の概要: LayerNAS: Neural Architecture Search in Polynomial Complexity

• arxiv url: http://arxiv.org/abs/2304.11517v1
• Date: Sun, 23 Apr 2023 02:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 18:02:21.872273
• Title: LayerNAS: Neural Architecture Search in Polynomial Complexity
• Title（参考訳）: LayerNAS: 多項式複雑性におけるニューラルアーキテクチャ探索
• Authors: Yicheng Fan, Dana Alon, Jingyue Shen, Daiyi Peng, Keshav Kumar, Yun Long, Xin Wang, Fotis Iliopoulos, Da-Cheng Juan, Erik Vee
• Abstract要約: 我々は多目的NASの課題に対処するためにLayerNASを提案する。 LayerNASグループは、モデルサイズやレイテンシなどの1つの目的に基づいて候補をモデル化し、別の目的に基づいて最適なモデルを探す。 実験の結果,LayerNASは様々な検索空間にまたがる優れたモデルを見つけることができることがわかった。
• 参考スコア（独自算出の注目度）: 18.36070437021082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has become a popular method for discovering effective model architectures, especially for target hardware. As such, NAS methods that find optimal architectures under constraints are essential. In our paper, we propose LayerNAS to address the challenge of multi-objective NAS by transforming it into a combinatorial optimization problem, which effectively constrains the search complexity to be polynomial. For a model architecture with $L$ layers, we perform layerwise-search for each layer, selecting from a set of search options $\mathbb{S}$. LayerNAS groups model candidates based on one objective, such as model size or latency, and searches for the optimal model based on another objective, thereby splitting the cost and reward elements of the search. This approach limits the search complexity to $ O(H \cdot |\mathbb{S}| \cdot L) $, where $H$ is a constant set in LayerNAS. Our experiments show that LayerNAS is able to consistently discover superior models across a variety of search spaces in comparison to strong baselines, including search spaces derived from NATS-Bench, MobileNetV2 and MobileNetV3.
• Abstract（参考訳）: ニューラルアーキテクチャ検索(nas)は、特にターゲットハードウェアにおいて効果的なモデルアーキテクチャを発見するための一般的な方法となっている。 したがって、制約の下で最適なアーキテクチャを見つけるNAS手法が不可欠である。 本稿では,多目的NASを組合せ最適化問題に変換することで,探索複雑性を多項式に抑えることで,多目的NASの課題に対処するLayerNASを提案する。 L$層を持つモデルアーキテクチャでは、各層に対して階層的に探索を行い、検索オプションのセットから$\mathbb{S}$を選択する。 LayerNASグループは、モデルサイズやレイテンシなどの1つの目的に基づいて候補をモデル化し、別の目的に基づいて最適なモデルを探し、その結果、探索のコストと報酬要素を分割する。 このアプローチは、探索複雑性を$ O(H \cdot |\mathbb{S}| \cdot L) $ に制限する。 実験の結果,nats-bench,mobilenetv2,mobilenetv3から派生した検索空間を含む強力なベースラインと比較して,様々な検索空間において,より優れたモデルを一貫して発見できることがわかった。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Novelty Driven Evolutionary Neural Architecture Search [6.8129169853808795]
  進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。 NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。 NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
  論文  参考訳（メタデータ） (2022-04-01T03:32:55Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。