論文の概要: TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2105.11871v1
- Date: Tue, 25 May 2021 12:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 18:35:22.618082
- Title: TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search
- Title（参考訳）: TransNAS-Bench-101: クロスタスクニューラルネットワークの転送性と一般化性の改善
- Authors: Yawen Duan, Xin Chen, Hang Xu, Zewei Chen, Xiaodan Liang, Tong Zhang,
Zhenguo Li
- Abstract要約: 本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
- 参考スコア（独自算出の注目度）: 98.22779489340869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent breakthroughs of Neural Architecture Search (NAS) extend the field's
research scope towards a broader range of vision tasks and more diversified
search spaces. While existing NAS methods mostly design architectures on a
single task, algorithms that look beyond single-task search are surging to
pursue a more efficient and universal solution across various tasks. Many of
them leverage transfer learning and seek to preserve, reuse, and refine network
design knowledge to achieve higher efficiency in future tasks. However, the
enormous computational cost and experiment complexity of cross-task NAS are
imposing barriers for valuable research in this direction. Existing NAS
benchmarks all focus on one type of vision task, i.e., classification. In this
work, we propose TransNAS-Bench-101, a benchmark dataset containing network
performance across seven tasks, covering classification, regression,
pixel-level prediction, and self-supervised tasks. This diversity provides
opportunities to transfer NAS methods among tasks and allows for more complex
transfer schemes to evolve. We explore two fundamentally different types of
search space: cell-level search space and macro-level search space. With 7,352
backbones evaluated on seven tasks, 51,464 trained models with detailed
training information are provided. With TransNAS-Bench-101, we hope to
encourage the advent of exceptional NAS algorithms that raise cross-task search
efficiency and generalizability to the next level. Our dataset file will be
available at Mindspore, VEGA.
- Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)の最近の進歩は、広い範囲の視覚タスクとより多様化された検索空間に分野の研究範囲を広げている。
既存のNASメソッドは、主に単一のタスクでアーキテクチャを設計するが、シングルタスク検索を超えるアルゴリズムは、様々なタスクにまたがるより効率的で普遍的なソリューションを求めるために急増している。
それらの多くは転送学習を活用し、将来のタスクでより高い効率を達成するためにネットワーク設計の知識を保存、再利用、洗練しようと試みている。
しかし、クロスタスクNASの膨大な計算コストと実験複雑さは、この方向への貴重な研究の障壁を示唆している。
既存のNASベンチマークは、すべて1種類の視覚タスク、すなわち分類に焦点を当てている。
本研究では,分類,回帰,画素レベルの予測,自己監督タスクを含む7つのタスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
この多様性は、nasメソッドをタスク間で転送する機会を提供し、より複雑な転送スキームを進化させる。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
TransNAS-Bench-101では、クロスタスク検索効率と次のレベルへの一般化性を高める、例外的なNASアルゴリズムの出現を奨励したい。
データセットファイルはVEGAのMindsporeで公開されます。
関連論文リスト
- einspace: Searching for Neural Architectures from Fundamental Operations [28.346238250052455]
本稿では,パラメータ化された確率的文脈自由文法に基づく検索空間であるeinspaceを紹介する。
競合アーキテクチャはゼロから検索することで得ることができ、強力なベースラインで検索を初期化する際には、常に大きな改善が得られます。
論文 参考訳（メタデータ） (2024-05-31T14:25:45Z) - How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS
Predictor [22.87207410692821]
我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。
我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
論文 参考訳（メタデータ） (2023-11-30T10:51:46Z) - Efficient Architecture Search for Diverse Tasks [29.83517145790238]
多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。
本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。
DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
論文 参考訳（メタデータ） (2022-04-15T17:21:27Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z) - Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。
本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。
検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
論文 参考訳（メタデータ） (2019-12-31T10:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。