論文の概要: FBNetV5: Neural Architecture Search for Multiple Tasks in One Run

• arxiv url: http://arxiv.org/abs/2111.10007v1
• Date: Fri, 19 Nov 2021 02:07:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 16:04:44.068835
• Title: FBNetV5: Neural Architecture Search for Multiple Tasks in One Run
• Title（参考訳）: fbnetv5: ニューラルネットワークによる単一実行中の複数のタスクの検索
• Authors: Bichen Wu, Chaojian Li, Hang Zhang, Xiaoliang Dai, Peizhao Zhang, Matthew Yu, Jialiang Wang, Yingyan Lin, Peter Vajda
• Abstract要約: FBNetV5は、計算コストと人的労力を大幅に削減して、様々な視覚タスクのためのニューラルネットワークを探索できるフレームワークである。 具体的には,1)単純で包括的かつ移動可能な検索空間,2)目標タスクのトレーニングパイプラインと切り離されたマルチタスク探索プロセス,3)タスク数に依存しない計算コストで複数のタスクのアーキテクチャを同時に探索するアルゴリズムを設計する。 我々は、画像分類、オブジェクト検出、セマンティックセグメンテーションという3つの基本的なビジョンタスクをターゲットに、提案したFBNetV5を評価する。
• 参考スコア（独自算出の注目度）: 28.645664534127516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has been widely adopted to design accurate and efficient image classification models. However, applying NAS to a new computer vision task still requires a huge amount of effort. This is because 1) previous NAS research has been over-prioritized on image classification while largely ignoring other tasks; 2) many NAS works focus on optimizing task-specific components that cannot be favorably transferred to other tasks; and 3) existing NAS methods are typically designed to be "proxyless" and require significant effort to be integrated with each new task's training pipelines. To tackle these challenges, we propose FBNetV5, a NAS framework that can search for neural architectures for a variety of vision tasks with much reduced computational cost and human effort. Specifically, we design 1) a search space that is simple yet inclusive and transferable; 2) a multitask search process that is disentangled with target tasks' training pipeline; and 3) an algorithm to simultaneously search for architectures for multiple tasks with a computational cost agnostic to the number of tasks. We evaluate the proposed FBNetV5 targeting three fundamental vision tasks -- image classification, object detection, and semantic segmentation. Models searched by FBNetV5 in a single run of search have outperformed the previous stateof-the-art in all the three tasks: image classification (e.g., +1.3% ImageNet top-1 accuracy under the same FLOPs as compared to FBNetV3), semantic segmentation (e.g., +1.8% higher ADE20K val. mIoU than SegFormer with 3.6x fewer FLOPs), and object detection (e.g., +1.1% COCO val. mAP with 1.2x fewer FLOPs as compared to YOLOX).
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、正確で効率的な画像分類モデルの設計に広く採用されている。 しかし、新しいコンピュータビジョンタスクにNASを適用するには、まだ膨大な労力を要する。 これは 1) これまでのnas研究は,画像分類に重点を置いているが,他の課題をほとんど無視している。 2)多くのNAS作業は、他のタスクに適切に転送できないタスク固有のコンポーネントの最適化に重点を置いている。 3) 既存のNASメソッドは一般的に"プロキシレス"に設計されており、各タスクのトレーニングパイプラインに統合するためには多大な労力を要する。 これらの課題に対処するために、計算コストと人的労力を大幅に削減して、様々な視覚タスクのためのニューラルアーキテクチャを探索できるNASフレームワークであるFBNetV5を提案する。 特に私たちは 1) 単純かつ包括的で、転送可能な探索空間 2) 目標タスクの訓練パイプラインに絡み合うマルチタスク探索プロセス,及び 3)タスク数に依存しない計算コストで複数のタスクのアーキテクチャを同時に探索するアルゴリズム。 本研究では,画像分類,物体検出,意味セグメンテーションという3つの基本ビジョンタスクを対象としたfbnetv5の評価を行った。 FBNetV5が1回の検索で検索したモデルは、画像分類(例えば、FBNetV3と比較して、画像分類(+1.3% ImageNet top-1の精度)、セマンティックセグメンテーション(例えば、3.6倍のFLOPを持つSegFormerより1.8%高いADE20K val.mIoU)、オブジェクト検出(例えば、+1.1% COCO val.mAPとYOLOXに比べて1.2倍少ないFLOPを持つ)の3つのタスクにおいて、過去の最先端よりも優れていた。

関連論文リスト

• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search [98.22779489340869]
  本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。 セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。 7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
  論文  参考訳（メタデータ） (2021-05-25T12:15:21Z)
• Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
  アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。 ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
  論文  参考訳（メタデータ） (2021-03-24T15:20:38Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。 実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。 FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
  論文  参考訳（メタデータ） (2020-06-21T10:03:34Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。