論文の概要: Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets

• arxiv url: http://arxiv.org/abs/2103.00219v1
• Date: Sat, 27 Feb 2021 13:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:21:54.014878
• Title: Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets
• Title（参考訳）: Pareto-Frontier-Aware Neural Architecture Generation for Diverse Budgets
• Authors: Yong Guo, Yaofo Chen, Yin Zheng, Qi Chen, Peilin Zhao, Jian Chen, Junzhou Huang, Mingkui Tan
• Abstract要約: 既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 93.79297053429447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing feasible and effective architectures under diverse computation budgets incurred by different applications/devices is essential for deploying deep models in practice. Existing methods often perform an independent architecture search for each target budget, which is very inefficient yet unnecessary. Moreover, the repeated independent search manner would inevitably ignore the common knowledge among different search processes and hamper the search performance. To address these issues, we seek to train a general architecture generator that automatically produces effective architectures for an arbitrary budget merely via model inference. To this end, we propose a Pareto-Frontier-aware Neural Architecture Generator (NAG) which takes an arbitrary budget as input and produces the Pareto optimal architecture for the target budget. We train NAG by learning the Pareto frontier (i.e., the set of Pareto optimal architectures) over model performance and computational cost (e.g., latency). Extensive experiments on three platforms (i.e., mobile, CPU, and GPU) show the superiority of the proposed method over existing NAS methods.
• Abstract（参考訳）: さまざまなアプリケーション/デバイスによって発生するさまざまな計算予算の下で実現可能で効果的なアーキテクチャを設計することは、実際に深いモデルをデプロイする上で不可欠です。 既存のメソッドは、多くの場合、ターゲットの予算ごとに独立したアーキテクチャ検索を行います。 さらに、繰り返し独立した検索手法は、必然的に異なる検索プロセス間の共通の知識を無視し、検索パフォーマンスを妨げます。 これらの問題に対処するために、モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャジェネレータを訓練することを模索する。 そのために、任意の予算を入力として取り、ターゲット予算に最適なアーキテクチャを生成するPareto-Frontier-aware Neural Architecture Generator(NAG)を提案します。 私たちは、モデル性能と計算コスト(遅延など)よりも、Paretoフロンティア(Paretoの最適アーキテクチャセット)を学習することでNAGを訓練します。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。

関連論文リスト

• Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity [12.52012450501367]
  ハードウェア対応のニューラルネットワーク探索アプローチ(HW-NAS)は、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。 これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。 計算コストの低い単一ランでアーキテクチャのトレードオフセットを特定するために,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T15:32:58Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• Pareto-aware Neural Architecture Generation for Diverse Computational Budgets [94.27982238384847]
  既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
  論文  参考訳（メタデータ） (2022-10-14T08:30:59Z)
• FocusFormer: Focusing on What We Need via Architecture Sampler [45.150346855368]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの最近のブレークスルーを支えている。 ワンショットのニューラルアーキテクチャ検索は、さまざまなデプロイメントシナリオのためのスーパーネットトレーニングとアーキテクチャ専門化を分離する。 このようなギャップを埋めるために、FocusFormerと呼ばれるシンプルで効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-08-23T10:42:56Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。