論文の概要: Meta-learning for Few-shot Natural Language Processing: A Survey

• arxiv url: http://arxiv.org/abs/2007.09604v1
• Date: Sun, 19 Jul 2020 06:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 23:49:11.783686
• Title: Meta-learning for Few-shot Natural Language Processing: A Survey
• Title（参考訳）: 数発自然言語処理のためのメタラーニング:調査
• Authors: Wenpeng Yin
• Abstract要約: Few-shot Natural Language Processing (NLP) は、ラベル付き例のごく一部に付随するNLPタスクを指す。 本稿では,NLP領域,特に少数ショットアプリケーションに焦点をあてる。 メタラーニングを数ショットNLPに適用する際の、より明確な定義、進捗の概要、一般的なデータセットを提供しようとしている。
• 参考スコア（独自算出の注目度）: 10.396506243272158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot natural language processing (NLP) refers to NLP tasks that are accompanied with merely a handful of labeled examples. This is a real-world challenge that an AI system must learn to handle. Usually we rely on collecting more auxiliary information or developing a more efficient learning algorithm. However, the general gradient-based optimization in high capacity models, if training from scratch, requires many parameter-updating steps over a large number of labeled examples to perform well (Snell et al., 2017). If the target task itself cannot provide more information, how about collecting more tasks equipped with rich annotations to help the model learning? The goal of meta-learning is to train a model on a variety of tasks with rich annotations, such that it can solve a new task using only a few labeled samples. The key idea is to train the model's initial parameters such that the model has maximal performance on a new task after the parameters have been updated through zero or a couple of gradient steps. There are already some surveys for meta-learning, such as (Vilalta and Drissi, 2002; Vanschoren, 2018; Hospedales et al., 2020). Nevertheless, this paper focuses on NLP domain, especially few-shot applications. We try to provide clearer definitions, progress summary and some common datasets of applying meta-learning to few-shot NLP.
• Abstract（参考訳）: Few-shot Natural Language Processing (NLP) は、ラベル付き例のごく一部に付随するNLPタスクを指す。 これは、AIシステムが扱わなければならない現実的な課題である。 通常、より補助的な情報を集めるか、より効率的な学習アルゴリズムを開発することに頼る。 しかしながら、高容量モデルにおける一般的な勾配に基づく最適化は、スクラッチからトレーニングする場合、多くのラベル付き例に対して多くのパラメータアップステップが必要となる(snell et al., 2017)。 対象のタスク自体がより多くの情報を提供できない場合、モデル学習に役立つリッチアノテーションを備えたタスクをもっと集めてはどうでしょう? メタラーニングの目標は、いくつかのラベル付きサンプルを使用して新しいタスクを解決できるように、リッチアノテーションでさまざまなタスクでモデルをトレーニングすることである。 重要なアイデアは、パラメータがゼロまたはいくつかの勾配ステップで更新された後に、モデルが新しいタスクで最大パフォーマンスを持つように、モデルの初期パラメータをトレーニングすることだ。 メタラーニングに関する調査はすでにいくつかある(Vilalta and Drissi, 2002; Vanschoren, 2018; Hospedales et al., 2020)。 それにもかかわらず、本論文はNLPドメイン、特に少数ショットアプリケーションに焦点を当てている。 メタラーニングをNLPに応用する際の、より明確な定義、進捗の概要、一般的なデータセットを提供しようとしている。

関連論文リスト

• MoBYv2AL: Self-supervised Active Learning for Image Classification [57.4372176671293]
  画像分類のための自己教師型アクティブラーニングフレームワークであるMoBYv2ALを提案する。 私たちの貢献は、最も成功した自己教師付き学習アルゴリズムであるMoBYをALパイプラインに持ち上げることです。 近年のAL法と比較すると,最先端の結果が得られている。
  論文  参考訳（メタデータ） (2023-01-04T10:52:02Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Learning to Learn to Disambiguate: Meta-Learning for Few-Shot Word Sense Disambiguation [26.296412053816233]
  単語感覚の曖昧さを解消するメタラーニングフレームワークを提案する。 ゴールは、少数のラベル付きインスタンスから目に見えない単語をあいまいにすることを学ぶことである。 このシナリオにいくつかの一般的なメタ学習アプローチを拡張し、その強みと弱点を分析します。
  論文  参考訳（メタデータ） (2020-04-29T17:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。