論文の概要: When does MAML Work the Best? An Empirical Study on Model-Agnostic
Meta-Learning in NLP Applications
- arxiv url: http://arxiv.org/abs/2005.11700v1
- Date: Sun, 24 May 2020 09:29:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 13:42:01.485885
- Title: When does MAML Work the Best? An Empirical Study on Model-Agnostic
Meta-Learning in NLP Applications
- Title(参考訳): MAMLはいつ機能するのか?
NLPにおけるモデル非依存メタラーニングに関する実証的研究
- Authors: Zequn Liu, Ruiyi Zhang, Yiping Song, Ming Zhang
- Abstract要約: データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因が、NLPにおけるMAMLの性能に影響を与える可能性がある。
本稿では,これらの影響要因を調査し,MAMLが最適に機能するかどうかを実験的に検討する。
- 参考スコア(独自算出の注目度): 22.212629148264124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model-Agnostic Meta-Learning (MAML), a model-agnostic meta-learning method,
is successfully employed in NLP applications including few-shot text
classification and multi-domain low-resource language generation. Many
impacting factors, including data quantity, similarity among tasks, and the
balance between general language model and task-specific adaptation, can affect
the performance of MAML in NLP, but few works have thoroughly studied them. In
this paper, we conduct an empirical study to investigate these impacting
factors and conclude when MAML works the best based on the experimental
results.
- Abstract(参考訳): モデルに依存しないメタラーニング手法であるモデル非依存メタラーニング(MAML)は、少数ショットテキスト分類やマルチドメイン低リソース言語生成を含むNLPアプリケーションに成功している。
データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因がNLPにおけるMAMLの性能に影響を与えるが、それらを徹底的に研究する研究は少ない。
本稿では,これらの影響要因について実証的研究を行い,実験結果に基づいてMAMLが最適に動作するかどうかを結論する。
関連論文リスト
- CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - MM-BigBench: Evaluating Multimodal Models on Multimodal Content
Comprehension Tasks [56.60050181186531]
MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。
本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
論文 参考訳(メタデータ) (2023-10-13T11:57:04Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。
人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。
また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
論文 参考訳(メタデータ) (2023-05-21T14:39:28Z) - Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in
Finance [1.863067234952186]
低リソースの財務NLUタスクにおけるモデルに依存しないメタラーニングアルゴリズム(MAML)について検討する。
実験結果に基づき,本モデルによる最先端の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-06T02:24:48Z) - Competence-Based Analysis of Language Models [24.09077801383941]
大規模で事前訓練されたニューラルネットワークモデル(LLM)は、入力やアプリケーションコンテキストの小さな変更に対して、驚くほど脆弱である。
当社の枠組みであるCALMは,LCM能力の最初の定量的尺度である。
我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。
論文 参考訳(メタデータ) (2023-03-01T08:53:36Z) - ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳(メタデータ) (2022-05-03T14:18:10Z) - Model-based Multi-agent Reinforcement Learning: Recent Progress and
Prospects [23.347535672670688]
マルチエージェント強化学習(MARL)は、複数の参加者が関与するシーケンシャルな意思決定問題に取り組む。
MARLは効果的なトレーニングのために膨大な数のサンプルを必要とする。
モデルに基づく手法は、サンプル効率の証明可能な利点を実現することが示されている。
論文 参考訳(メタデータ) (2022-03-20T17:24:47Z) - Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta
Learning, Provably? [25.00480072097939]
モデル非依存型メタラーニング(MAML)とベイジアンMAMLのメタテストリスクを比較した。
分布非依存および線状セントロイド症例の両方において,ベイジアンMAMLは,MAMLよりも明らかにメタテストリスクが低いことが確認された。
論文 参考訳(メタデータ) (2022-03-06T21:38:18Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳(メタデータ) (2020-11-13T06:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。