Fugu-MT 論文翻訳(概要): Cooperative Meta-Learning with Gradient Augmentation

論文の概要: Cooperative Meta-Learning with Gradient Augmentation

arxiv url: http://arxiv.org/abs/2406.04639v1
Date: Fri, 7 Jun 2024 04:54:00 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 15:29:23.647129
Title: Cooperative Meta-Learning with Gradient Augmentation
Title（参考訳）: グラディエント・オーグメンテーションを用いた共同メタラーニング
Authors: Jongyun Shin, Seunjin Han, Jangho Kim,
Abstract要約: 本稿では,CMLと呼ばれる新しいメタラーニングフレームワークを提案する。本研究では,CMLと呼ばれる新しいメタラーニングフレームワークを提案する。
参考スコア（独自算出の注目度）: 6.472397166280681
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model agnostic meta-learning (MAML) is one of the most widely used gradient-based meta-learning, consisting of two optimization loops: an inner loop and outer loop. MAML learns the new task from meta-initialization parameters with an inner update and finds the meta-initialization parameters in the outer loop. In general, the injection of noise into the gradient of the model for augmenting the gradient is one of the widely used regularization methods. In this work, we propose a novel cooperative meta-learning framework dubbed CML which leverages gradient-level regularization with gradient augmentation. We inject learnable noise into the gradient of the model for the model generalization. The key idea of CML is introducing the co-learner which has no inner update but the outer loop update to augment gradients for finding better meta-initialization parameters. Since the co-learner does not update in the inner loop, it can be easily deleted after meta-training. Therefore, CML infers with only meta-learner without additional cost and performance degradation. We demonstrate that CML is easily applicable to gradient-based meta-learning methods and CML leads to increased performance in few-shot regression, few-shot image classification and few-shot node classification tasks. Our codes are at https://github.com/JJongyn/CML.
Abstract（参考訳）: モデル非依存メタラーニング(MAML)は、内ループと外ループの2つの最適化ループからなる、最も広く使われている勾配に基づくメタラーニングの1つである。 MAMLは、内部更新でメタ初期化パラメータから新しいタスクを学び、外部ループでメタ初期化パラメータを見つける。一般に、勾配を増大させるためのモデルの勾配への雑音の注入は、広く使われている正規化手法の1つである。本研究では,勾配増加を伴う勾配レベルの正規化を活用する,CMLと呼ばれる新しい協調型メタラーニングフレームワークを提案する。モデル一般化のためのモデルの勾配に学習可能なノイズを注入する。 CMLのキーとなるアイデアは、内部更新はないが、外部ループのアップデートにより、より良いメタ初期化パラメータを見つけるための勾配を増大させることである。共同学習者はインナーループを更新しないため、メタトレーニング後に簡単に削除できる。そのため、CMLは、追加のコストと性能劣化を伴わずにメタラーナーのみを推論する。我々はCMLが勾配に基づくメタラーニング手法に容易に適用できることを示し、CMLは数発の回帰、数発の画像分類、数発のノード分類タスクにおいて性能を向上させることを示した。私たちのコードはhttps://github.com/JJongyn/CMLにあります。

関連論文リスト

Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文参考訳（メタデータ） (2024-11-01T07:05:03Z)
HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks [0.0]
Few-Shot Learningは、これまで見つからなかったタスクに容易に適応できるモデルをトレーニングすることを目的としている。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。本稿では,更新手順のトレーニングをモデルの一部として行うHyperMAMLを提案する。
論文参考訳（メタデータ） (2022-05-31T12:31:21Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
論文参考訳（メタデータ） (2021-10-30T08:36:52Z)
Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
論文参考訳（メタデータ） (2021-10-20T03:05:58Z)
Meta-Learning with Adjoint Methods [16.753336086160598]
メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2021-10-16T01:18:50Z)
MetaDelta: A Meta-Learning System for Few-shot Image Classification [71.06324527247423]
数ショット画像分類のための新しいメタ学習システムであるMetaDeltaを提案する。 MetaDeltaの各メタラーナーは、バッチトレーニングによって微調整された独自の事前訓練エンコーダと、予測に使用されるパラメータフリーデコーダで構成されている。
論文参考訳（メタデータ） (2021-02-22T02:57:22Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文参考訳（メタデータ） (2020-10-01T15:59:31Z)
MetaMix: Improved Meta-Learning with Interpolation-based Consistency Regularization [14.531741503372764]
バックボーンモデルを正規化するためのMetaMixという手法を提案する。各エピソード内で仮想フィーチャとターゲットのペアを生成し、バックボーンモデルを標準化する。任意のMAMLベースのアルゴリズムと統合でき、新しいタスクをより一般化した決定境界を学ぶことができる。
論文参考訳（メタデータ） (2020-09-29T02:44:13Z)
BOML: A Modularized Bilevel Optimization Library in Python for Meta Learning [52.90643948602659]
BOMLはモジュール化された最適化ライブラリで、いくつかのメタ学習アルゴリズムを共通の双方向最適化フレームワークに統合する。さまざまなイテレーションモジュールとともに階層的な最適化パイプラインを提供し、メタ学習メソッドの主流カテゴリを解決するために使用できる。
論文参考訳（メタデータ） (2020-09-28T14:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。