論文の概要: HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks

• arxiv url: http://arxiv.org/abs/2205.15745v1
• Date: Tue, 31 May 2022 12:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 12:53:01.428806
• Title: HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks
• Title（参考訳）: HyperMAML: HypernetworksによるDeep ModelのFew-Shot Adaptation
• Authors: M. Przewi\k{e}\'zlikowski, P. Przybysz, J. Tabor, M. Zi\k{e}ba, P. Spurek
• Abstract要約: Few-Shot Learningは、これまで見つからなかったタスクに容易に適応できるモデルをトレーニングすることを目的としている。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。 本稿では,更新手順のトレーニングをモデルの一部として行うHyperMAMLを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The aim of Few-Shot learning methods is to train models which can easily adapt to previously unseen tasks, based on small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the general weights of the meta-model, which are further adapted to specific problems in a small number of gradient steps. However, the model's main limitation lies in the fact that the update procedure is realized by gradient-based optimisation. In consequence, MAML cannot always modify weights to the essential level in one or even a few gradient iterations. On the other hand, using many gradient steps results in a complex and time-consuming optimization procedure, which is hard to train in practice, and may lead to overfitting. In this paper, we propose HyperMAML, a novel generalization of MAML, where the training of the update procedure is also part of the model. Namely, in HyperMAML, instead of updating the weights with gradient descent, we use for this purpose a trainable Hypernetwork. Consequently, in this framework, the model can generate significant updates whose range is not limited to a fixed number of gradient steps. Experiments show that HyperMAML consistently outperforms MAML and performs comparably to other state-of-the-art techniques in a number of standard Few-Shot learning benchmarks.
• Abstract（参考訳）: 少数ショット学習の目標は、少量のデータに基づいて、未発見のタスクに容易に適応できるモデルを訓練することである。 最も人気がありエレガントなFew-Shot学習アプローチの1つは、モデルに依存しないメタラーニング(MAML)である。 この手法の背後にある主なアイデアは、少数の勾配ステップで特定の問題にさらに適応するメタモデルの一般的な重みを学習することである。 しかし、モデルの主な制限は、勾配に基づく最適化によって更新手順が実現されるという事実にある。 結果として、MAMLは、1回または数回の勾配反復において、常に重みを必須レベルに修正することはできない。 一方で、多くの勾配ステップを使用することで、複雑で時間を要する最適化手順が実現し、実際には訓練が難しく、過度に適合する可能性がある。 本稿では,更新手順のトレーニングをモデルの一部として行う,新しいMAMLの一般化であるHyperMAMLを提案する。 すなわち、HyperMAMLでは、勾配降下で重みを更新するのではなく、トレーニング可能なHypernetworkを使用する。 したがって、このフレームワークでは、一定数の勾配ステップに限定されない重要な更新を生成することができる。 実験によると、HyperMAMLは一貫してMAMLより優れており、多くの標準的なFew-Shot学習ベンチマークで他の最先端技術と互換性がある。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Hypernetwork approach to Bayesian MAML [13.012692001087617]
  本稿では,ベイジアンHMAML(Bayesian HMAML)という,ベイジアンMAMLの新しいフレームワークを提案する。 普遍重みをポイントワイズで学習するが、特定のタスクに適応すると確率構造が付加される。
  論文  参考訳（メタデータ） (2022-10-06T10:14:41Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
  モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。 実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
  論文  参考訳（メタデータ） (2021-10-20T03:05:58Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。