論文の概要: Weighted Meta-Learning

• arxiv url: http://arxiv.org/abs/2003.09465v1
• Date: Fri, 20 Mar 2020 19:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 22:08:46.110168
• Title: Weighted Meta-Learning
• Title（参考訳）: 軽量メタラーニング
• Authors: Diana Cai, Rishit Sheth, Lester Mackey, Nicolo Fusi
• Abstract要約: モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。 重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 21.522768804834616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning leverages related source tasks to learn an initialization that can be quickly fine-tuned to a target task with limited labeled examples. However, many popular meta-learning algorithms, such as model-agnostic meta-learning (MAML), only assume access to the target samples for fine-tuning. In this work, we provide a general framework for meta-learning based on weighting the loss of different source tasks, where the weights are allowed to depend on the target samples. In this general setting, we provide upper bounds on the distance of the weighted empirical risk of the source tasks and expected target risk in terms of an integral probability metric (IPM) and Rademacher complexity, which apply to a number of meta-learning settings including MAML and a weighted MAML variant. We then develop a learning algorithm based on minimizing the error bound with respect to an empirical IPM, including a weighted MAML algorithm, $\alpha$-MAML. Finally, we demonstrate empirically on several regression problems that our weighted meta-learning algorithm is able to find better initializations than uniformly-weighted meta-learning algorithms, such as MAML.
• Abstract（参考訳）: メタラーニングは関連するソースタスクを活用して、ラベル付きのサンプルでターゲットタスクにすばやく微調整できる初期化を学ぶ。 しかし、モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究は,対象のサンプルに依存する重み付けを行うため,異なるソースタスクの損失を重み付けしたメタラーニングのための一般的なフレームワークを提供する。 この一般的な設定では、積分確率メートル法(IPM)とラデマッハ複雑性の観点から、ソースタスクの重み付けされた経験的リスクと期待される目標リスクの距離について上限を与え、MAMLや重み付けされたMAMLを含む多くのメタ学習設定に適用する。 次に、重み付きMAMLアルゴリズムである$\alpha$-MAMLを含む経験的IPMに対する誤差の最小化に基づく学習アルゴリズムを開発する。 最後に、重み付きメタ学習アルゴリズムがMAMLのような一様重み付きメタ学習アルゴリズムよりも優れた初期化を見つけることができるいくつかの回帰問題を実証的に示す。

関連論文リスト

• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Robust MAML: Prioritization task buffer with adaptive learning process for model-agnostic meta-learning [15.894925018423665]
  モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。 本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。 メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2021-03-15T09:34:34Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• MetaMix: Improved Meta-Learning with Interpolation-based Consistency Regularization [14.531741503372764]
  バックボーンモデルを正規化するためのMetaMixという手法を提案する。 各エピソード内で仮想フィーチャとターゲットのペアを生成し、バックボーンモデルを標準化する。 任意のMAMLベースのアルゴリズムと統合でき、新しいタスクをより一般化した決定境界を学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-29T02:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。