Fugu-MT 論文翻訳(概要): Reproducibility Report: La-MAML: Look-ahead Meta Learning for Continual Learning

論文の概要: Reproducibility Report: La-MAML: Look-ahead Meta Learning for Continual Learning

arxiv url: http://arxiv.org/abs/2102.05824v1
Date: Thu, 11 Feb 2021 03:05:57 GMT
ステータス: 処理完了
システム内更新日: 2021-02-13 03:33:18.221578
Title: Reproducibility Report: La-MAML: Look-ahead Meta Learning for Continual Learning
Title（参考訳）: 再現性レポート: La-MAML: 継続的学習のためのルックアヘッドメタラーニング
Authors: Joel Joseph and Alex Gu
Abstract要約: 連続学習問題は、限られた計算条件下での一連のタスクをうまく実行することを伴う。最適化ベースのメタ学習アルゴリズムであるLa-MAMLは、他のリプレイベース、事前ベース、メタ学習ベースのアプローチよりも優れていると主張している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Continual Learning (CL) problem involves performing well on a sequence of tasks under limited compute. Current algorithms in the domain are either slow, offline or sensitive to hyper-parameters. La-MAML, an optimization-based meta-learning algorithm claims to be better than other replay-based, prior-based and meta-learning based approaches. According to the MER paper [1], metrics to measure performance in the continual learning arena are Retained Accuracy (RA) and Backward Transfer-Interference (BTI). La-MAML claims to perform better in these values when compared to the SOTA in the domain. This is the main claim of the paper, which we shall be verifying in this report.
Abstract（参考訳）: 継続的学習(CL)問題には、限られた計算の下でタスクのシーケンスでうまく機能することが含まれる。ドメインの現在のアルゴリズムは、遅い、オフライン、またはハイパーパラメータに敏感です。最適化ベースのメタ学習アルゴリズムであるLa-MAMLは、他のリプレイベース、事前ベース、メタ学習ベースのアプローチよりも優れていると主張している。 MERの論文[1]によると、連続学習領域のパフォーマンスを測定する指標は、保持精度(RA)と後方伝達干渉(BTI)である。 La-MAMLは、ドメイン内のSOTAと比較して、これらの値のパフォーマンスが向上すると主張している。これが本報告書の主主張であり、本報告書で検証する。

関連論文リスト

VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-10-02T15:49:30Z)
Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
論文参考訳（メタデータ） (2024-03-23T00:49:40Z)
Improved Meta Learning for Low Resource Speech Recognition [15.612232220719653]
本稿では,従来のモデルメタ学習(MAML)アプローチを改善した低リソース音声認識のためのメタ学習に基づく新しいフレームワークを提案する。提案システムは,文字誤り率や安定した訓練行動の観点から,MAMLに基づく低リソースASRシステムよりも優れている。
論文参考訳（メタデータ） (2022-05-11T15:50:47Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:26Z)
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-09T08:47:58Z)
Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
論文参考訳（メタデータ） (2021-03-16T12:53:09Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文参考訳（メタデータ） (2021-01-01T09:19:48Z)
Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文参考訳（メタデータ） (2020-10-31T08:05:34Z)
La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
論文参考訳（メタデータ） (2020-07-27T23:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。