論文の概要: Neural Architecture Transfer

• arxiv url: http://arxiv.org/abs/2005.05859v2
• Date: Mon, 22 Mar 2021 00:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 18:06:37.865430
• Title: Neural Architecture Transfer
• Title（参考訳）: ニューラルアーキテクチャ転送
• Authors: Zhichao Lu, Gautam Sreekumar, Erik Goodman, Wolfgang Banzhaf, Kalyanmoy Deb, and Vishnu Naresh Boddeti
• Abstract要約: 既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。 この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。 NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
• 参考スコア（独自算出の注目度）: 20.86857986471351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has emerged as a promising avenue for automatically designing task-specific neural networks. Existing NAS approaches require one complete search for each deployment specification of hardware or objective. This is a computationally impractical endeavor given the potentially large number of application scenarios. In this paper, we propose Neural Architecture Transfer (NAT) to overcome this limitation. NAT is designed to efficiently generate task-specific custom models that are competitive under multiple conflicting objectives. To realize this goal we learn task-specific supernets from which specialized subnets can be sampled without any additional training. The key to our approach is an integrated online transfer learning and many-objective evolutionary search procedure. A pre-trained supernet is iteratively adapted while simultaneously searching for task-specific subnets. We demonstrate the efficacy of NAT on 11 benchmark image classification tasks ranging from large-scale multi-class to small-scale fine-grained datasets. In all cases, including ImageNet, NATNets improve upon the state-of-the-art under mobile settings ($\leq$ 600M Multiply-Adds). Surprisingly, small-scale fine-grained datasets benefit the most from NAT. At the same time, the architecture search and transfer is orders of magnitude more efficient than existing NAS methods. Overall, the experimental evaluation indicates that, across diverse image classification tasks and computational objectives, NAT is an appreciably more effective alternative to conventional transfer learning of fine-tuning weights of an existing network architecture learned on standard datasets. Code is available at https://github.com/human-analysis/neural-architecture-transfer
• Abstract（参考訳）: タスク固有のニューラルネットワークを自動設計する手段として、NAS(Neural Architecture Search)が登場した。 既存のNASアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。 潜在的に多くのアプリケーションシナリオを考えると、これは計算上非実用的です。 本稿では,この制限を克服するためのニューラルアーキテクチャトランスファー(NAT)を提案する。 NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。 この目標を達成するために、特別なサブネットを追加のトレーニングなしでサンプリングできるタスク特化スーパーネットを学習する。 私たちのアプローチの鍵は、オンライン転送学習と多目的進化的検索手順の統合です。 事前学習されたスーパーネットは、タスク固有のサブネットを同時に探索しながら反復的に適応される。 大規模マルチクラスから小規模な粒度データセットまで,11のベンチマーク画像分類タスクにおけるNATの有効性を示す。 ImageNetを含むすべてのケースにおいて、NATNetはモバイル設定下での最先端($6M Multiply-Adds)を改善している。 驚くべきことに、小さな粒度のデータセットはNATから最も恩恵を受けます。 同時に、アーキテクチャの探索と転送は既存のNAS法よりも桁違いに効率的である。 総合評価の結果,様々な画像分類タスクや計算目的において,NATは標準データセットから学習した既存のネットワークアーキテクチャの微調整重みの従来の伝達学習よりも効果的であることがわかった。 コードはhttps://github.com/human- analysis/neural-architecture-transferで入手できる。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• Generic Neural Architecture Search via Regression [27.78105839644199]
  我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。 次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
  論文  参考訳（メタデータ） (2021-08-04T08:21:12Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
  アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。 ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
  論文  参考訳（メタデータ） (2021-03-24T15:20:38Z)
• Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
  本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-03-02T06:30:51Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。