論文の概要: Multi-objective Neural Architecture Search by Learning Search Space Partitions

• arxiv url: http://arxiv.org/abs/2406.00291v1
• Date: Sat, 1 Jun 2024 03:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:44:24.605835
• Title: Multi-objective Neural Architecture Search by Learning Search Space Partitions
• Title（参考訳）: 探索空間分割学習による多目的ニューラルアーキテクチャ探索
• Authors: Yiyang Zhao, Linnan Wang, Tian Guo,
• Abstract要約: ニューラルアーキテクチャ探索(NAS)タスクにLaMOOと呼ばれる新しいメタアルゴリズムを実装した。 LaMOOは、観測されたサンプルからモデルを学び、検索空間を分割し、将来性のある領域に集中することによって、検索プロセスを高速化する。 現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。
• 参考スコア（独自算出の注目度）: 8.4553113915588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying deep learning models requires taking into consideration neural network metrics such as model size, inference latency, and #FLOPs, aside from inference accuracy. This results in deep learning model designers leveraging multi-objective optimization to design effective deep neural networks in multiple criteria. However, applying multi-objective optimizations to neural architecture search (NAS) is nontrivial because NAS tasks usually have a huge search space, along with a non-negligible searching cost. This requires effective multi-objective search algorithms to alleviate the GPU costs. In this work, we implement a novel multi-objectives optimizer based on a recently proposed meta-algorithm called LaMOO on NAS tasks. In a nutshell, LaMOO speedups the search process by learning a model from observed samples to partition the search space and then focusing on promising regions likely to contain a subset of the Pareto frontier. Using LaMOO, we observe an improvement of more than 200% sample efficiency compared to Bayesian optimization and evolutionary-based multi-objective optimizers on different NAS datasets. For example, when combined with LaMOO, qEHVI achieves a 225% improvement in sample efficiency compared to using qEHVI alone in NasBench201. For real-world tasks, LaMOO achieves 97.36% accuracy with only 1.62M #Params on CIFAR10 in only 600 search samples. On ImageNet, our large model reaches 80.4% top-1 accuracy with only 522M #FLOPs.
• Abstract（参考訳）: ディープラーニングモデルをデプロイするには、モデルサイズ、推論レイテンシ、#FLOPなどのニューラルネットワークメトリクスを考慮する必要がある。 この結果、ディープラーニングモデルデザイナは、多目的最適化を利用して、効率的なディープニューラルネットワークを複数の基準で設計する。 しかし、NASタスクは一般に巨大な検索空間を持ち、非無視探索コストもかかるため、ニューラルネットワーク探索(NAS)に多目的最適化を適用することは簡単ではない。 これはGPUコストを軽減するために効果的な多目的探索アルゴリズムを必要とする。 本研究では,NASタスク上でのLaMOOというメタアルゴリズムに基づく,新しい多目的最適化手法を提案する。 簡単に言えば、LaMOOは観測されたサンプルからモデルを学び、探索空間を分割し、パレートフロンティアのサブセットを含む可能性のある領域にフォーカスすることで、探索プロセスを高速化する。 LaMOOを用いて,異なるNASデータセット上でのベイズ最適化と進化型多目的最適化と比較して200%以上のサンプル効率の改善を観察した。 例えば、LaMOOと組み合わせると、qEHVIはNasBench201でqEHVIのみを使用するよりも225%効率が向上する。 現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。 ImageNetでは、私たちの大モデルは80.4%の精度で、522M #FLOPsしかありません。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling [39.58754758581108]
  2段階のニューラルネットワーク探索(NAS)は、顕著な精度と効率を達成する。 2段階のNASは、トレーニング中に探索空間からのサンプリングを必要とし、最終的な探索モデルの精度に直接影響を及ぼす。 本稿では,より優れたパレートを実現するため,サンプリング戦略の改善に焦点を当てたAttentiveNASを提案する。 発見されたモデルファミリであるAttentiveNASは、ImageNet上で77.3%から80.7%の精度でトップ1の精度を実現し、BigNASやOne-for-Allネットワークを含むSOTAモデルより優れています。
  論文  参考訳（メタデータ） (2020-11-18T00:15:23Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions [70.59851564292828]
  微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。 このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
  論文  参考訳（メタデータ） (2020-04-12T08:52:15Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。