論文の概要: OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2303.13683v1
• Date: Thu, 23 Mar 2023 21:30:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:32:07.840441
• Title: OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search
• Title（参考訳）: OFA$^2$: 任意のニューラルネットワーク探索のための多目的視点
• Authors: Rafael C. Ito and Fernando J. Von Zuben
• Abstract要約: once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
• 参考スコア（独自算出の注目度）: 79.36688444492405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Once-for-All (OFA) is a Neural Architecture Search (NAS) framework designed to address the problem of searching efficient architectures for devices with different resources constraints by decoupling the training and the searching stages. The computationally expensive process of training the OFA neural network is done only once, and then it is possible to perform multiple searches for subnetworks extracted from this trained network according to each deployment scenario. In this work we aim to give one step further in the search for efficiency by explicitly conceiving the search stage as a multi-objective optimization problem. A Pareto frontier is then populated with efficient, and already trained, neural architectures exhibiting distinct trade-offs among the conflicting objectives. This could be achieved by using any multi-objective evolutionary algorithm during the search stage, such as NSGA-II and SMS-EMOA. In other words, the neural network is trained once, the searching for subnetworks considering different hardware constraints is also done one single time, and then the user can choose a suitable neural network according to each deployment scenario. The conjugation of OFA and an explicit algorithm for multi-objective optimization opens the possibility of a posteriori decision-making in NAS, after sampling efficient subnetworks which are a very good approximation of the Pareto frontier, given that those subnetworks are already trained and ready to use. The source code and the final search algorithm will be released at https://github.com/ito-rafael/once-for-all-2
• Abstract（参考訳）: once-for-All(OFA)は、トレーニングと検索ステージを分離することで、リソース制約の異なるデバイスのための効率的なアーキテクチャを探索する問題に対処する、ニューラルネットワーク検索(NAS)フレームワークである。 OFAニューラルネットワークをトレーニングする計算コストの高いプロセスは一度だけ実行され、各デプロイメントシナリオに応じて、トレーニングされたネットワークから抽出されたサブネットの複数の検索を実行することができる。 本研究の目的は,探索段階を多目的最適化問題として明示的に認識することで,効率の追求をさらに進めることである。 パレートのフロンティアには効率的で、既に訓練されたニューラルネットワークアーキテクチャがあり、対立する目標間で明確なトレードオフを示す。 これは、NSGA-IIやSMS-EMOAのような検索段階で、任意の多目的進化アルゴリズムを使用することで実現できる。 言い換えれば、ニューラルネットワークは一度トレーニングされ、異なるハードウェア制約を考慮したサブネットの探索も1回に1回行われる。 ofaの結合と多目的最適化のための明示的なアルゴリズムは、paretoフロンティアの非常に良い近似である効率的なサブネットワークをサンプリングした後、nasにおける後進的な意思決定の可能性を開きます。 ソースコードと最終検索アルゴリズムはhttps://github.com/ito-rafael/once-for-all-2でリリースされる。

関連論文リスト

• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• ENAS4D: Efficient Multi-stage CNN Architecture Search for Dynamic Inference [12.15628508314535]
  本稿では,最適なマルチステージCNNアーキテクチャを効率的に探索できる汎用フレームワークENAS4Dを提案する。 ImageNet分類タスクの実験では、ENAS4Dによって探索された多段CNNが、ダンマ推論の最先端手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2020-09-19T08:08:26Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment [9.442139459221783]
  我々は,進歩的NASとワンショット手法の利点を組み合わせた,プログレッシブワンショットニューラルアーキテクチャサーチ(PONAS)を提案する。 PONASは10秒で特別なネットワークのアーキテクチャを見つけることができる。 ImageNetの分類では、75.2%のトップ1の精度が得られる。
  論文  参考訳（メタデータ） (2020-03-11T05:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。