論文の概要: Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2203.09137v1
• Date: Thu, 17 Mar 2022 07:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:04:21.186381
• Title: Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning
• Title（参考訳）: mamlのグローバル収束と理論にインスパイアされたニューラルアーキテクチャ探索
• Authors: Haoxiang Wang, Yite Wang, Ruoyu Sun, Bo Li
• Abstract要約: そこで本稿では,MetaK を用いて選択アーキテクチャのランク付けを行うスプリットショット学習のための,新しいトレーニングフリーニューラルネットワーク (NAS) 手法を提案する。 その結果,MetaNTK-NASの性能は,最新のNAS法と同等かそれ以上であることがわかった。
• 参考スコア（独自算出の注目度）: 20.460553426819388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-agnostic meta-learning (MAML) and its variants have become popular approaches for few-shot learning. However, due to the non-convexity of deep neural nets (DNNs) and the bi-level formulation of MAML, the theoretical properties of MAML with DNNs remain largely unknown. In this paper, we first prove that MAML with over-parameterized DNNs is guaranteed to converge to global optima at a linear rate. Our convergence analysis indicates that MAML with over-parameterized DNNs is equivalent to kernel regression with a novel class of kernels, which we name as Meta Neural Tangent Kernels (MetaNTK). Then, we propose MetaNTK-NAS, a new training-free neural architecture search (NAS) method for few-shot learning that uses MetaNTK to rank and select architectures. Empirically, we compare our MetaNTK-NAS with previous NAS methods on two popular few-shot learning benchmarks, miniImageNet, and tieredImageNet. We show that the performance of MetaNTK-NAS is comparable or better than the state-of-the-art NAS method designed for few-shot learning while enjoying more than 100x speedup. We believe the efficiency of MetaNTK-NAS makes itself more practical for many real-world tasks.
• Abstract（参考訳）: モデルに依存しないメタラーニング(MAML)とその変種は、数ショット学習の一般的なアプローチとなっている。 しかし、ディープニューラルネット(DNN)の非凸性とMAMLの2レベル定式化のため、MAMLとDNNの理論的性質はほとんど不明である。 本稿では,DNNを過度にパラメータ化したMAMLが,線形速度でグローバル最適に収束することが保証されていることを最初に証明する。 我々の収束解析は、過パラメータDNNを持つMAMLが、新しいカーネルのクラスを持つカーネル回帰と等価であることを示し、MetaNTK(Meta Neural Tangent Kernels)と呼ぶ。 次に,MetaNTK-NASを提案する。これは,MetaNTKを用いてアーキテクチャのランク付けと選択を行う,数ショット学習のための新しいトレーニングフリーニューラルネットワークサーチ(NAS)手法である。 実験的に、私たちはMetaNTK-NASと従来のNAS手法を2つの人気のある数ショット学習ベンチマークであるminiImageNetとtyredImageNetで比較した。 我々は,MetaNTK-NASの性能が,100倍以上のスピードアップを享受しながら,数ショット学習用に設計されたNAS法と同等あるいは同等であることを示す。 我々は,MetaNTK-NASの効率性によって,多くの実世界のタスクにおいてより実用的になると考えている。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks [15.823247346294089]
  ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
  論文  参考訳（メタデータ） (2023-05-23T13:44:04Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
  我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。 多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。 我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
  論文  参考訳（メタデータ） (2020-08-19T14:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。