論文の概要: MetaICL: Learning to Learn In Context

• arxiv url: http://arxiv.org/abs/2110.15943v1
• Date: Fri, 29 Oct 2021 17:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:22:42.340136
• Title: MetaICL: Learning to Learn In Context
• Title（参考訳）: MetaICL: コンテキストで学ぶことを学ぶ
• Authors: Sewon Min, Mike Lewis, Luke Zettlemoyer, Hannaneh Hajishirzi
• Abstract要約: そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
• 参考スコア（独自算出の注目度）: 87.23056864536613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MetaICL (Meta-training for In-Context Learning), a new meta-training framework for few-shot learning where a pretrained language model is tuned to do in-context learn-ing on a large set of training tasks. This meta-training enables the model to more effectively learn a new task in context at test time, by simply conditioning on a few training examples with no parameter updates or task-specific templates. We experiment on a large, diverse collection of tasks consisting of 142 NLP datasets including classification, question answering, natural language inference, paraphrase detection and more, across seven different meta-training/target splits. MetaICL outperforms a range of baselines including in-context learning without meta-training and multi-task learning followed by zero-shot transfer. We find that the gains are particularly significant for target tasks that have domain shifts from the meta-training tasks, and that using a diverse set of the meta-training tasks is key to improvements. We also show that MetaICL approaches (and sometimes beats) the performance of models fully finetuned on the target task training data, and outperforms much bigger models with nearly 8x parameters.
• Abstract（参考訳）: metaicl (meta-training for in-context learning) は、事前学習された言語モデルが多数のトレーニングタスクでインコンテキスト学習を行うように調整される、少数ショット学習のための新しいメタトレーニングフレームワークである。 このメタトレーニングにより、パラメータ更新やタスク固有のテンプレートなしでいくつかのトレーニング例を条件付けするだけで、テスト時に新しいタスクをより効果的に学習することが可能になる。 分類,質問応答,自然言語推論,パラフレーズ検出などを含む142のNLPデータセットからなるタスクの多種多様なコレクションを,7つの異なるメタトレーニング/ターゲット分割で実験した。 MetaICLは、メタトレーニングやマルチタスク学習の後にゼロショット転送を行うことなく、コンテキスト内学習を含む、幅広いベースラインを上回ります。 メタトレーニングタスクからドメインシフトを持つターゲットタスクでは,特にゲインが重要であり,メタトレーニングタスクの多種多様なセットを使用することが,改善の鍵となる。 また、MetaICLは、目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し、ほぼ8倍のパラメータを持つモデルよりも優れた性能を示す。

関連論文リスト

• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Task Attended Meta-Learning for Few-Shot Learning [3.0724051098062097]
  そこで我々は,タスクアサートメタトレーニングと呼ばれる,人間の選択的な焦点を動機とする学習カリキュラムを紹介し,タスクをバッチで重み付けする。 複雑なデータセットに対する非タスク付きモデルとの比較は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-20T07:34:37Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。