論文の概要: EMO: Episodic Memory Optimization for Few-Shot Meta-Learning
- arxiv url: http://arxiv.org/abs/2306.05189v3
- Date: Mon, 26 Jun 2023 18:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 16:39:42.289928
- Title: EMO: Episodic Memory Optimization for Few-Shot Meta-Learning
- Title（参考訳）: emo: 少数のメタラーニングのためのエピソディクスメモリ最適化
- Authors: Yingjun Du, Jiayi Shen, Xiantong Zhen, Cees G.M. Snoek
- Abstract要約: メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。
EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。
EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
- 参考スコア（独自算出の注目度）: 69.50380510879697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot meta-learning presents a challenge for gradient descent optimization
due to the limited number of training samples per task. To address this issue,
we propose an episodic memory optimization for meta-learning, we call EMO,
which is inspired by the human ability to recall past learning experiences from
the brain's memory. EMO retains the gradient history of past experienced tasks
in external memory, enabling few-shot learning in a memory-augmented way. By
learning to retain and recall the learning process of past training tasks, EMO
nudges parameter updates in the right direction, even when the gradients
provided by a limited number of examples are uninformative. We prove
theoretically that our algorithm converges for smooth, strongly convex
objectives. EMO is generic, flexible, and model-agnostic, making it a simple
plug-and-play optimizer that can be seamlessly embedded into existing
optimization-based few-shot meta-learning approaches. Empirical results show
that EMO scales well with most few-shot classification benchmarks and improves
the performance of optimization-based meta-learning methods, resulting in
accelerated convergence.
- Abstract（参考訳）: タスク毎のトレーニングサンプル数が限られているため、勾配勾配勾配最適化の課題は少ない。
この問題に対処するために,脳の記憶から過去の学習体験を想起する人間の能力に触発された,メタラーニングのためのエピソードメモリ最適化(EMO)を提案する。
EMOは過去の経験豊富なタスクの勾配履歴を外部メモリに保持し、メモリ拡張された方法で数ショットの学習を可能にする。
過去のトレーニングタスクの学習プロセスの保持とリコールを学習することにより、EMOは、限られた数のサンプルによって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。
理論的には、このアルゴリズムは滑らかで強い凸目的に対して収束する。
EMOは汎用的で柔軟性があり、モデルに依存しないため、既存の最適化ベースの数ショットメタ学習アプローチにシームレスに組み込むことのできる、シンプルなプラグアンドプレイオプティマイザである。
実験の結果,emoは最小ショット分類ベンチマークのほとんどによく適合し,最適化に基づくメタ学習手法の性能が向上し,収束が促進された。
関連論文リスト
- Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting [41.891312602770746]
Gradient Episodic Memory (GEM) は、過去のトレーニングサンプルのサブセットを利用して、モデルのパラメータの更新方向を制限することでバランスをとる。
メモリの強度は、主にGEMの能力を一般化し、それによってより有利なトレードオフをもたらすため、有効であることを示す。
論文 参考訳（メタデータ） (2024-10-01T17:03:56Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
論文 参考訳（メタデータ） (2024-03-07T08:34:57Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - Bootstrapped Meta-Learning [48.017607959109924]
本稿では,メタ学習者が自らを教えることによって,メタ最適化問題に挑戦するアルゴリズムを提案する。
アルゴリズムはまずメタラーナーからターゲットをブートストラップし、選択した(擬似)測度の下でそのターゲットまでの距離を最小化することでメタラーナーを最適化する。
我々は、Atari ALEベンチマークでモデルフリーエージェントの新たな最先端技術を実現し、数ショットの学習においてMAMLを改善し、我々のアプローチがいかに新しい可能性を開くかを実証する。
論文 参考訳（メタデータ） (2021-09-09T18:29:05Z) - Memory Augmented Optimizers for Deep Learning [10.541705775336657]
本稿では,メモリ内の勾配履歴を限定的に把握する,メモリ拡張勾配降下の枠組みを提案する。
固定サイズのメモリを持つ勾配勾配勾配のクラスは、強い凸性の仮定の下で収束することを示す。
論文 参考訳（メタデータ） (2021-06-20T14:58:08Z) - La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。
La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
論文 参考訳（メタデータ） (2020-07-27T23:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。