Fugu-MT 論文翻訳(概要): When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications

論文の概要: When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications

arxiv url: http://arxiv.org/abs/2005.11700v1
Date: Sun, 24 May 2020 09:29:36 GMT
ステータス: 処理完了
システム内更新日: 2022-11-29 13:42:01.485885
Title: When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications
Title（参考訳）: MAMLはいつ機能するのか? NLPにおけるモデル非依存メタラーニングに関する実証的研究
Authors: Zequn Liu, Ruiyi Zhang, Yiping Song, Ming Zhang
Abstract要約: データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因が、NLPにおけるMAMLの性能に影響を与える可能性がある。本稿では,これらの影響要因を調査し,MAMLが最適に機能するかどうかを実験的に検討する。
参考スコア（独自算出の注目度）: 22.212629148264124
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model-Agnostic Meta-Learning (MAML), a model-agnostic meta-learning method, is successfully employed in NLP applications including few-shot text classification and multi-domain low-resource language generation. Many impacting factors, including data quantity, similarity among tasks, and the balance between general language model and task-specific adaptation, can affect the performance of MAML in NLP, but few works have thoroughly studied them. In this paper, we conduct an empirical study to investigate these impacting factors and conclude when MAML works the best based on the experimental results.
Abstract（参考訳）: モデルに依存しないメタラーニング手法であるモデル非依存メタラーニング(MAML)は、少数ショットテキスト分類やマルチドメイン低リソース言語生成を含むNLPアプリケーションに成功している。データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因がNLPにおけるMAMLの性能に影響を与えるが、それらを徹底的に研究する研究は少ない。本稿では,これらの影響要因について実証的研究を行い,実験結果に基づいてMAMLが最適に動作するかどうかを結論する。

関連論文リスト

MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文参考訳（メタデータ） (2024-11-22T18:59:54Z)
A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
論文参考訳（メタデータ） (2024-08-29T17:46:18Z)
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文参考訳（メタデータ） (2024-07-17T11:26:47Z)
MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2024-05-19T04:49:42Z)
MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
論文参考訳（メタデータ） (2023-11-23T12:04:25Z)
MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
論文参考訳（メタデータ） (2023-10-13T11:57:04Z)
Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance [1.863067234952186]
低リソースの財務NLUタスクにおけるモデルに依存しないメタラーニングアルゴリズム(MAML)について検討する。実験結果に基づき,本モデルによる最先端の性能評価を行った。
論文参考訳（メタデータ） (2023-03-06T02:24:48Z)
ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文参考訳（メタデータ） (2022-05-03T14:18:10Z)
Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects [23.347535672670688]
マルチエージェント強化学習(MARL)は、複数の参加者が関与するシーケンシャルな意思決定問題に取り組む。 MARLは効果的なトレーニングのために膨大な数のサンプルを必要とする。モデルに基づく手法は、サンプル効率の証明可能な利点を実現することが示されている。
論文参考訳（メタデータ） (2022-03-20T17:24:47Z)
Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably? [25.00480072097939]
モデル非依存型メタラーニング(MAML)とベイジアンMAMLのメタテストリスクを比較した。分布非依存および線状セントロイド症例の両方において,ベイジアンMAMLは,MAMLよりも明らかにメタテストリスクが低いことが確認された。
論文参考訳（メタデータ） (2022-03-06T21:38:18Z)
MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。