論文の概要: Learning New Tasks from a Few Examples with Soft-Label Prototypes

• arxiv url: http://arxiv.org/abs/2210.17437v4
• Date: Sun, 22 Sep 2024 09:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:35:37.584888
• Title: Learning New Tasks from a Few Examples with Soft-Label Prototypes
• Title（参考訳）: ソフトラベルプロトタイプを用いた事例から新しい課題を学習する
• Authors: Avyav Kumar Singh, Ekaterina Shutova, Helen Yannakoudakis,
• Abstract要約: ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
• 参考スコア（独自算出の注目度）: 18.363177410917597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches to few-shot learning in NLP rely on large language models (LLMs) and/or fine-tuning of these to generalise on out-of-distribution data. In this work, we propose a novel few-shot learning approach based on soft-label prototypes (SLPs) designed to collectively capture the distribution of different classes across the input domain space. We focus on learning previously unseen NLP tasks from very few examples (4, 8, 16) per class and experimentally demonstrate that our approach achieves superior performance on the majority of tested tasks in this data-lean setting while being highly parameter efficient. We also show that our few-shot adaptation method can be integrated into more generalised learning settings, primarily meta-learning, to yield superior performance against strong baselines.
• Abstract（参考訳）: 既存のNLPにおける少数ショット学習へのアプローチは、大言語モデル(LLM)および/またはこれらを微調整して、アウト・オブ・ディストリビューションデータの一般化に頼っている。 そこで本研究では,入力領域における異なるクラスの分布を総合的に把握するソフトラベルのプロトタイプ(SLP)に基づく,新しい数発学習手法を提案する。 本稿では,NLP タスクをクラスごとのごく少数の例 (4, 8, 16) から学習することに集中し,本手法がパラメータ効率が高く,テスト済みタスクの大部分に対して優れた性能を達成できることを実験的に実証する。 また,本手法は,より汎用的な学習環境,主にメタラーニングに組み込むことで,強力なベースラインに対して優れた性能が得られることを示す。

関連論文リスト

• LC-Protonets: Multi-label Few-shot learning for world music audio tagging [65.72891334156706]
  ラベル結合型プロトタイプネットワーク(LC-Protonets)を導入し,複数ラベルの複数ショット分類の問題に対処する。 LC-Protonetsは、限られたトレーニング項目に存在するラベルのパワーセットから、ラベルの組み合わせごとに1つのプロトタイプを生成する。 本手法は,様々な文化をカバーし,現代音楽と伝統音楽の両方を含む,多様な音楽データセットにまたがる自動音声タグ付けに適用する。
  論文  参考訳（メタデータ） (2024-09-17T15:13:07Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• Learning under Label Proportions for Text Classification [13.29710879730948]
  我々は、LLP(Learning from Proportions)の挑戦的なセットアップの下で、予備的なNLP作品の1つを提示する。 データは、バッグと呼ばれる集約形式で提供され、各クラス内のサンプルの割合のみが基礎となる真理である。
  論文  参考訳（メタデータ） (2023-10-18T04:39:25Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Few-shot learning for sentence pair classification and its applications in software engineering [0.36832029288386137]
  本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。 バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。 結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T18:23:52Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)
• Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
  最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。 これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。 LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
  論文  参考訳（メタデータ） (2020-12-31T17:21:26Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。