論文の概要: 'One size doesn't fit all': Learning how many Examples to use for
In-Context Learning for Improved Text Classification
- arxiv url: http://arxiv.org/abs/2403.06402v1
- Date: Mon, 11 Mar 2024 03:28:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:35:12.917649
- Title: 'One size doesn't fit all': Learning how many Examples to use for
In-Context Learning for Improved Text Classification
- Title(参考訳): 'サイズがすべてに合わない': テキスト分類を改善するために、コンテキスト内学習に使用するサンプル数を学ぶ
- Authors: Manish Chandra, Debasis Ganguly, Yiwen Li, Iadh Ounis
- Abstract要約: In-context Learning (ICL) は、少数のラベル付きデータインスタンスをプロンプトの例として使用する。
本稿では,データに代表されるサンプル数を動的に適応させる手法を提案する。
実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
- 参考スコア(独自算出の注目度): 18.167541508658417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive models in natural language processing (NLP) have evolved from
training models from scratch to fine-tuning pre-trained models with labelled
data. An extreme form of this fine-tuning involves in-context learning (ICL),
where the output of a pre-trained generative model (frozen decoder parameters)
is controlled only with variations in the input strings (called instructions or
prompts). An important component of ICL is the use of a small number of
labelled data instances as examples in the prompt. While existing work uses a
static number of examples during inference for each data instance, in this
paper we propose a novel methodology of dynamically adapting the number of
examples as per the data. This is analogous to the use of a variable-sized
neighborhood in k-nearest neighbors (k-NN) classifier. In our proposed workflow
of adaptive ICL (AICL), the number of demonstrations to employ during the
inference on a particular data instance is predicted by the Softmax posteriors
of a classifier. The parameters of this classifier are fitted on the optimal
number of examples in ICL required to correctly infer the label of each
instance in the training set with the hypothesis that a test instance that is
similar to a training instance should use the same (or a closely matching)
number of few-shot examples. Our experiments show that our AICL method results
in improvement in text classification task on several standard datasets.
- Abstract(参考訳): 自然言語処理(NLP)の予測モデルは、スクラッチからラベル付きデータによる微調整済みモデルまで進化してきた。
この微調整の極端な形式は、事前訓練された生成モデル(凍結デコーダパラメータ)の出力を入力文字列(命令またはプロンプトと呼ばれる)のバリエーションでのみ制御するインコンテキスト学習(ICL)である。
ICLの重要なコンポーネントは、少数のラベル付きデータインスタンスをプロンプトの例として使用することである。
既存の研究では,各データインスタンスの推論において,静的な例数を用いるが,本論文では,データごとの例数を動的に適応させる手法を提案する。
これはk-ネアレスト近傍(k-NN)分類器における可変サイズ近傍の使用と類似している。
適応型ICL(AICL)のワークフローでは、特定のデータインスタンスの推論中に使用するデモの数は、分類器のSoftmax後部によって予測される。
この分類器のパラメータは、トレーニングセット内の各インスタンスのラベルを正しく推測するために要求される icl の最適なサンプル数に適合し、トレーニングインスタンスに似たテストインスタンスは、同じ(または密接に一致する)数の少数ショットのサンプルを使用するべきであるという仮説を持つ。
実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
関連論文リスト
- GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳(メタデータ) (2023-11-16T06:28:05Z) - Unsupervised Calibration through Prior Adaptation for Text
Classification using Large Language Models [37.39843935632105]
ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。
その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-07-13T12:11:36Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Data Curation Alone Can Stabilize In-context Learning [20.874674130060388]
In-context Learning (ICL) は、大規模な言語モデルに対して、一連のトレーニング例でそれらを促すことで、新しいタスクを実行することを可能にする。
トレーニングセットからランダムにサンプルをサンプリングすると、パフォーマンスのばらつきが高くなります。
トレーニングデータのサブセットを慎重にキュレートすることは、ICLアルゴリズムに他の変更を加えることなく、ICLのパフォーマンスを大幅に安定化させることを示す。
論文 参考訳(メタデータ) (2022-12-20T15:58:54Z) - Improving Few-Shot Performance of Language Models via Nearest Neighbor
Calibration [12.334422701057674]
In-context Learning のための近辺校正フレームワークを提案する。
インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。
テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
論文 参考訳(メタデータ) (2022-12-05T12:49:41Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-07T06:50:27Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z) - An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。
単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文 参考訳(メタデータ) (2021-04-09T01:03:17Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳(メタデータ) (2021-03-31T09:05:43Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。