論文の概要: Learning New Tasks from a Few Examples with Soft-Label Prototypes
- arxiv url: http://arxiv.org/abs/2210.17437v3
- Date: Thu, 14 Mar 2024 14:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 03:23:03.679900
- Title: Learning New Tasks from a Few Examples with Soft-Label Prototypes
- Title(参考訳): ソフトラベルプロトタイプを用いた事例から新しい課題を学習する
- Authors: Avyav Kumar Singh, Ekaterina Shutova, Helen Yannakoudakis,
- Abstract要約: NLPにおける「極端」少数ショット学習へのシンプルだが強力なアプローチを提案する。
ニューラルネットワーク(DeepSLP)でソフトラベルのプロトタイプを学習する
実験により、31/48のタスクと数ショット設定において、優れた性能を達成できることを実証した。
- 参考スコア(独自算出の注目度): 18.363177410917597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing approaches to few-shot learning in NLP rely on large language models and fine-tuning of these to generalise on out-of-distribution data. In this work, we propose a simple yet powerful approach to "extreme" few-shot learning, wherein models are exposed to as little as 4 examples per class, based on soft-label prototypes that collectively capture the distribution of different classes across the input domain space. Inspired by previous work (Sucholutsky et al., 2021) on univariate or simple multivariate (synthetic) data, we propose a novel approach that is effective on large, high-dimensional and real-world datasets. We learn soft-label prototypes within a neural framework (DeepSLP) and we experimentally demonstrate that it achieves superior performance on 31/48 tested tasks and few-shot settings while closely matching the performance of strong baselines on the rest. We focus on learning previously unseen NLP tasks from very few examples (4, 8, 16) per label and present an in-depth analysis of the effectiveness of our approach.
- Abstract(参考訳): 既存のNLPにおける少数ショット学習へのアプローチは、配布外のデータを一般化するために、大きな言語モデルとこれらを微調整に依存している。
そこで本研究では,入力領域の異なるクラスの分布を集合的に把握するソフトラベルのプロトタイプに基づいて,モデルがクラス毎に4つの例にしか公開されない「極端」少数ショット学習のための,シンプルかつ強力なアプローチを提案する。
単変量または単純多変量(合成)データに関する以前の研究(Sucholutsky et al , 2021)に触発されて, 大規模・高次元・実世界のデータセットに有効な新しいアプローチを提案する。
ニューラルフレームワーク(DeepSLP)内でソフトラベルのプロトタイプを学習し、31/48のテストタスクと数ショット設定において優れたパフォーマンスを実現し、残りの部分での強いベースラインのパフォーマンスを密に一致させることを実験的に実証した。
従来のNLPタスクをラベル単位のごく少数の例(4,8,16)から学習することに集中し,提案手法の有効性を詳細に分析した。
関連論文リスト
- Few-shot learning for sentence pair classification and its applications
in software engineering [0.36832029288386137]
本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。
バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。
結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-06-13T18:23:52Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-15T13:07:02Z) - Meta-learning Pathologies from Radiology Reports using Variance Aware
Prototypical Networks [3.464871689508835]
本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。
我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
論文 参考訳(メタデータ) (2022-10-22T05:22:29Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳(メタデータ) (2021-09-07T02:19:01Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。
これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。
LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
論文 参考訳(メタデータ) (2020-12-31T17:21:26Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳(メタデータ) (2020-06-12T22:45:47Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。