論文の概要: Learning New Tasks from a Few Examples with Soft-Label Prototypes
- arxiv url: http://arxiv.org/abs/2210.17437v1
- Date: Mon, 31 Oct 2022 16:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:32:00.438771
- Title: Learning New Tasks from a Few Examples with Soft-Label Prototypes
- Title(参考訳): ソフトラベルプロトタイプを用いた事例から新しい課題を学ぶ
- Authors: Avyav Kumar Singh, Ekaterina Shutova and Helen Yannakoudakis
- Abstract要約: sucholutsky氏とSchonlau氏は先頃、同じことを目指すマシンラーニングアプローチを発表した。
大規模、高次元、実世界のデータセットに拡張します。
- 参考スコア(独自算出の注目度): 24.174838838355527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has been experimentally demonstrated that humans are able to learn in a
manner that allows them to make predictions on categories for which they have
not seen any examples (Malaviya et al., 2022). Sucholutsky and Schonlau (2020)
have recently presented a machine learning approach that aims to do the same.
They utilise synthetically generated data and demonstrate that it is possible
to achieve sub-linear scaling and develop models that can learn to recognise N
classes from M training samples where M is less than N - aka less-than-one shot
learning. Their method was, however, defined for univariate or simple
multivariate data (Sucholutsky et al., 2021). We extend it to work on large,
high-dimensional and real-world datasets and empirically validate it in this
new and challenging setting. We apply this method to learn previously unseen
NLP tasks from very few examples (4, 8 or 16). We first generate compact,
sophisticated less-than-one shot representations called soft-label prototypes
which are fitted on training data, capturing the distribution of different
classes across the input domain space. We then use a modified k-Nearest
Neighbours classifier to demonstrate that soft-label prototypes can classify
data competitively, even outperforming much more computationally complex
few-shot learning methods.
- Abstract(参考訳): 実験によって、人間が全く見ていないカテゴリーを予測できる方法で学習できることが実証された(Malaviya et al., 2022)。
sucholutsky氏とSchonlau氏(2020年)は先頃、同じことを目指すマシンラーニングアプローチを発表した。
彼らは合成されたデータを活用し、サブ線形スケーリングを実現し、M が N よりも少ない M トレーニングサンプルから N クラスの認識を学習できるモデルを開発することができることを示した。
しかし、その方法は単変量あるいは単純多変量データに対して定義された(Sucholutsky et al., 2021)。
大規模で高次元で現実世界のデータセットで作業できるように拡張し、この新しい挑戦的な環境で実証的に検証します。
本手法を,ごく少数の例 (4, 8, 16) から未確認のNLPタスクの学習に適用する。
まず、訓練データに適合するソフトラベルのプロトタイプと呼ばれるコンパクトで洗練された1対1のショット表現を生成し、入力領域空間の異なるクラスの分布をキャプチャする。
そして、修正されたk-nearest近傍の分類器を使って、ソフトラベルのプロトタイプが競争的にデータを分類できることを証明します。
関連論文リスト
- Few-shot learning for sentence pair classification and its applications
in software engineering [0.36832029288386137]
本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。
バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。
結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-06-13T18:23:52Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-15T13:07:02Z) - Meta-learning Pathologies from Radiology Reports using Variance Aware
Prototypical Networks [3.464871689508835]
本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。
我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
論文 参考訳(メタデータ) (2022-10-22T05:22:29Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳(メタデータ) (2021-09-07T02:19:01Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。
これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。
LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
論文 参考訳(メタデータ) (2020-12-31T17:21:26Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳(メタデータ) (2020-06-12T22:45:47Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。