論文の概要: Rapid Model Architecture Adaption for Meta-Learning

• arxiv url: http://arxiv.org/abs/2109.04925v1
• Date: Fri, 10 Sep 2021 15:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 16:21:11.498348
• Title: Rapid Model Architecture Adaption for Meta-Learning
• Title（参考訳）: メタラーニングのための高速モデルアーキテクチャ適応
• Authors: Yiren Zhao, Xitong Gao, Ilia Shumailov, Nicolo Fusi, Robert Mullins
• Abstract要約: モデルAメタラーニング(MAML)をNASフローに統合することにより,モデルAメタラーニング(MAML)を数ショットの学習設定で,モデルアーキテクチャを新しいタスクに迅速に適応する方法を示す。 提案手法 (H-Meta-NAS) はハードウェア・アウェアであり,MAMLフレームワークで計算を行う。 特に, 5-way 1-shot Mini-ImageNet 分類タスクでは, 提案手法が最適手動ベースラインよりも大きなマージンで優れていた。
• 参考スコア（独自算出の注目度）: 5.109810774427172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network Architecture Search (NAS) methods have recently gathered much attention. They design networks with better performance and use a much shorter search time compared to traditional manual tuning. Despite their efficiency in model deployments, most NAS algorithms target a single task on a fixed hardware system. However, real-life few-shot learning environments often cover a great number of tasks (T ) and deployments on a wide variety of hardware platforms (H ). The combinatorial search complexity T times H creates a fundamental search efficiency challenge if one naively applies existing NAS methods to these scenarios. To overcome this issue, we show, for the first time, how to rapidly adapt model architectures to new tasks in a many-task many-hardware few-shot learning setup by integrating Model Agnostic Meta Learning (MAML) into the NAS flow. The proposed NAS method (H-Meta-NAS) is hardware-aware and performs optimisation in the MAML framework. H-Meta-NAS shows a Pareto dominance compared to a variety of NAS and manual baselines in popular few-shot learning benchmarks with various hardware platforms and constraints. In particular, on the 5-way 1-shot Mini-ImageNet classification task, the proposed method outperforms the best manual baseline by a large margin (5.21% in accuracy) using 60% less computation.
• Abstract（参考訳）: ネットワークアーキテクチャ検索(NAS)メソッドが最近注目を集めている。 より優れたパフォーマンスでネットワークを設計し、従来の手動チューニングよりもはるかに短い検索時間を使用する。 モデル展開の効率にもかかわらず、ほとんどのNASアルゴリズムは固定ハードウェアシステム上の単一のタスクをターゲットにしている。 しかし、実際の数発の学習環境は、多くのタスク(T)とさまざまなハードウェアプラットフォーム(H)へのデプロイをカバーしていることが多い。 組合せ探索複雑性T times Hは、これらのシナリオに既存のNASメソッドを鼻で適用すれば、基本的な探索効率の課題を生み出す。 この問題を克服するために,モデルに依存しないメタラーニング(MAML)をNASフローに統合することにより,多数のタスクにモデルアーキテクチャを新しいタスクに迅速に適応させる方法について,初めて示す。 提案手法(H-Meta-NAS)はハードウェア対応であり,MAMLフレームワークで最適化を行う。 h-meta-nasは、さまざまなハードウェアプラットフォームと制約を備えた人気のあるマイナショット学習ベンチマークにおいて、さまざまなnasおよびマニュアルベースラインと比較してパレート優位を示している。 特に, 5-way 1-shot Mini-ImageNet分類タスクでは, 提案手法は, 60%少ない計算量を用いて, 最大手動ベースライン(5.21%の精度)で性能を向上する。

関連論文リスト

• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Meta-Learning of NAS for Few-shot Learning in Medical Image Applications [10.666687733540668]
  ニューラルアーキテクチャサーチ(NAS)は医療画像の様々な応用を動機付けている。 NASは、大量の注釈付きデータ、かなりのリソース、事前定義されたタスクの可用性を必要とする。 分類,セグメンテーション,検出,再構成などの様々な応用を応用した医用画像におけるNASアプローチについて紹介する。
  論文  参考訳（メタデータ） (2022-03-16T21:21:51Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• A Comprehensive Survey on Hardware-Aware Neural Architecture Search [6.23453131728063]
  ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。 NASはここ数年で広範囲に研究されている。 実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。 人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。 ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
  論文  参考訳（メタデータ） (2021-01-22T21:13:46Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。