論文の概要: MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2003.14058v1
• Date: Tue, 31 Mar 2020 09:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 00:05:21.414721
• Title: MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning
• Title（参考訳）: MTL-NAS:汎用マルチタスク学習に向けたタスク非依存ニューラルネットワーク探索
• Authors: Yuan Gao, Haoping Bai, Zequn Jie, Jiayi Ma, Kui Jia, and Wei Liu
• Abstract要約: 汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 71.90902837008278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to incorporate neural architecture search (NAS) into general-purpose multi-task learning (GP-MTL). Existing NAS methods typically define different search spaces according to different tasks. In order to adapt to different task combinations (i.e., task sets), we disentangle the GP-MTL networks into single-task backbones (optionally encode the task priors), and a hierarchical and layerwise features sharing/fusing scheme across them. This enables us to design a novel and general task-agnostic search space, which inserts cross-task edges (i.e., feature fusion connections) into fixed single-task network backbones. Moreover, we also propose a novel single-shot gradient-based search algorithm that closes the performance gap between the searched architectures and the final evaluation architecture. This is realized with a minimum entropy regularization on the architecture weights during the search phase, which makes the architecture weights converge to near-discrete values and therefore achieves a single model. As a result, our searched model can be directly used for evaluation without (re-)training from scratch. We perform extensive experiments using different single-task backbones on various task sets, demonstrating the promising performance obtained by exploiting the hierarchical and layerwise features, as well as the desirable generalizability to different i) task sets and ii) single-task backbones. The code of our paper is available at https://github.com/bhpfelix/MTLNAS.
• Abstract（参考訳）: 汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 既存のNASメソッドは通常、異なるタスクに応じて異なる検索空間を定義する。 異なるタスクの組み合わせ(すなわちタスクセット)に適応するために、gp-mtlネットワークをシングルタスクバックボーン(オプションでタスクをプリエントする)と階層的および階層的なフィーチャの共有/融合スキームに分割します。 これにより、固定された単一タスクネットワークのバックボーンにクロスタスクエッジ(機能融合接続)を挿入する、新規で一般的なタスクに依存しない検索空間を設計できる。 さらに,検索されたアーキテクチャと最終評価アーキテクチャの性能ギャップを解消する,新しいシングルショット勾配に基づく探索アルゴリズムを提案する。 これは探索期間中のアーキテクチャ重みの最小エントロピー正規化によって実現され、これによりアーキテクチャ重みがほぼ離散値に収束し、単一のモデルが得られる。 その結果,検索したモデルをスクラッチから(再)学習することなく直接評価できることがわかった。 我々は,様々なタスクセット上で異なるシングルタスクバックボーンを用いた広範囲な実験を行い,階層的および階層的特徴を生かして得られる有望な性能と,異なる汎用性を示す。 一 タスクセット及び ii)シングルタスクバックボーン。 私たちの論文のコードはhttps://github.com/bhpfelix/mtlnasで閲覧できます。

関連論文リスト

• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• MSINet: Twins Contrastive Search of Multi-Scale Interaction for Object ReID [29.13844433114534]
  本稿では,ReIDアーキテクチャ探索のより適切な監視を行うために,新しいTwins Contrastive Mechanism (TCM)を提案する。 TCMは、トレーニングデータと検証データの重複を低減し、現実世界のReIDトレーニングスキームのシミュレーションにおいてNASを支援する。 次にマルチスケールインタラクション(MSI)検索空間を設計し、マルチスケール機能間の合理的なインタラクション操作を探索する。
  論文  参考訳（メタデータ） (2023-03-13T12:39:59Z)
• Warm-starting DARTS using meta-learning [4.035753155957698]
  ニューラルネットワークサーチ(NAS)は、自動機械学習(AutoML)の分野で大きな可能性を秘めている。 微分可能アーキテクチャサーチ(DARTS)のためのメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-12T20:40:26Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
  与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。 タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
  論文  参考訳（メタデータ） (2021-03-23T20:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。