論文の概要: Pareto-aware Neural Architecture Generation for Diverse Computational Budgets

• arxiv url: http://arxiv.org/abs/2210.07634v1
• Date: Fri, 14 Oct 2022 08:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:40:45.047451
• Title: Pareto-aware Neural Architecture Generation for Diverse Computational Budgets
• Title（参考訳）: 分散計算予算のためのパレート対応ニューラルアーキテクチャ生成
• Authors: Yong Guo, Yaofo Chen, Yin Zheng, Qi Chen, Peilin Zhao, Jian Chen, Junzhou Huang, Mingkui Tan
• Abstract要約: 既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
• 参考スコア（独自算出の注目度）: 94.27982238384847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing feasible and effective architectures under diverse computational budgets, incurred by different applications/devices, is essential for deploying deep models in real-world applications. To achieve this goal, existing methods often perform an independent architecture search process for each target budget, which is very inefficient yet unnecessary. More critically, these independent search processes cannot share their learned knowledge (i.e., the distribution of good architectures) with each other and thus often result in limited search results. To address these issues, we propose a Pareto-aware Neural Architecture Generator (PNAG) which only needs to be trained once and dynamically produces the Pareto optimal architecture for any given budget via inference. To train our PNAG, we learn the whole Pareto frontier by jointly finding multiple Pareto optimal architectures under diverse budgets. Such a joint search algorithm not only greatly reduces the overall search cost but also improves the search results. Extensive experiments on three hardware platforms (i.e., mobile device, CPU, and GPU) show the superiority of our method over existing methods.
• Abstract（参考訳）: 異なるアプリケーション/デバイスによって引き起こされる様々な計算予算の下で実現可能で効果的なアーキテクチャを設計することは、現実世界のアプリケーションに深いモデルをデプロイするのに不可欠である。 この目的を達成するために、既存の手法は、しばしば目標予算ごとに独立したアーキテクチャ探索プロセスを実行する。 より批判的に、これらの独立した検索プロセスは、学習した知識(すなわち優れたアーキテクチャの分布)を互いに共有できないため、検索結果が限られることが多い。 これらの問題に対処するため,我々は1回だけトレーニングし,任意の予算に対して動的にpareto最適化アーキテクチャを生成するpareto-aware neural architecture generator (pnag)を提案する。 PNAGをトレーニングするために、さまざまな予算の下で複数のPareto最適アーキテクチャを共同で見つけることで、Paretoフロンティア全体を学ぶ。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、検索結果を改善する。 3つのハードウェアプラットフォーム(モバイルデバイス、cpu、gpu)での広範な実験は、既存の方法よりも優れた方法を示している。

関連論文リスト

• Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity [12.52012450501367]
  ハードウェア対応のニューラルネットワーク探索アプローチ(HW-NAS)は、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。 これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。 計算コストの低い単一ランでアーキテクチャのトレードオフセットを特定するために,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T15:32:58Z)
• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• SONAR: Joint Architecture and System Optimization Search [23.031629325665875]
  SONARは、両方の検索プロセスに早期停止を適用することにより、予測精度と推論遅延を効率的に最適化することを目的としている。 複数の異なるハードウェアバックエンドに関する実験により、SONARはブルートフォースアプローチの30倍の速度で、ほぼ最適なアーキテクチャを識別できることがわかった。
  論文  参考訳（メタデータ） (2022-08-25T17:07:54Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。