論文の概要: Across-Task Neural Architecture Search via Meta Learning
- arxiv url: http://arxiv.org/abs/2110.05842v1
- Date: Tue, 12 Oct 2021 09:07:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 14:45:03.479018
- Title: Across-Task Neural Architecture Search via Meta Learning
- Title（参考訳）: メタ学習によるタスク間ニューラルネットワーク探索
- Authors: Jingtao Rong and Xinyi Yu and Mingyang Zhang and Linlin Ou
- Abstract要約: Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS)
限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。
本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
- 参考スコア（独自算出の注目度）: 1.225795556154044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adequate labeled data and expensive compute resources are the prerequisites
for the success of neural architecture search(NAS). It is challenging to apply
NAS in meta-learning scenarios with limited compute resources and data. In this
paper, an across-task neural architecture search (AT-NAS) is proposed to
address the problem through combining gradient-based meta-learning with
EA-based NAS to learn over the distribution of tasks. The supernet is learned
over an entire set of tasks by meta-learning its weights. Architecture encodes
of subnets sampled from the supernet are iteratively adapted by evolutionary
algorithms while simultaneously searching for a task-sensitive meta-network.
Searched meta-network can be adapted to a novel task via a few learning steps
and only costs a little search time. Empirical results show that AT-NAS
surpasses the related approaches on few-shot classification accuracy. The
performance of AT-NAS on classification benchmarks is comparable to that of
models searched from scratch, by adapting the architecture in less than an hour
from a 5-GPU-day pretrained meta-network.
- Abstract（参考訳）: 適切なラベル付きデータと高価な計算リソースは、ニューラルネットワーク検索(nas)の成功の前提条件である。
限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。
本稿では,勾配に基づくメタラーニングとeaベースのnasを組み合わせることでタスクの分散を学習し,タスク横断型ニューラルネットワーク探索(at-nas)を提案する。
スーパーネットは、その重みをメタ学習することで、一連のタスクを通して学習される。
スーパーネットからサンプリングされたサブネットのアーキテクチャエンコーディングは、タスクに敏感なメタネットワークを検索しながら、進化的アルゴリズムによって反復的に適応される。
検索されたメタネットワークは、いくつかの学習ステップを通じて新しいタスクに適応できる。
実験の結果,AT-NASは数発の分類精度において関連するアプローチを超越していることがわかった。
分類ベンチマークにおけるAT-NASの性能は、5GPUの事前訓練されたメタネットワークから1時間以内でアーキテクチャを適応することで、スクラッチから検索したモデルに匹敵する。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。
本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
論文 参考訳（メタデータ） (2023-05-26T14:00:35Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - Generic Neural Architecture Search via Regression [27.78105839644199]
我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。
GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。
次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
論文 参考訳（メタデータ） (2021-08-04T08:21:12Z) - Rapid Neural Architecture Search by Learning to Generate Graphs from
Datasets [42.993720854755736]
本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。
我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
論文 参考訳（メタデータ） (2021-07-02T06:33:59Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z) - Neural Architecture Transfer [20.86857986471351]
既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。
この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。
NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
論文 参考訳（メタデータ） (2020-05-12T15:30:36Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。