論文の概要: 'One size doesn't fit all': Learning how many Examples to use for
In-Context Learning for Improved Text Classification
- arxiv url: http://arxiv.org/abs/2403.06402v1
- Date: Mon, 11 Mar 2024 03:28:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:35:12.917649
- Title: 'One size doesn't fit all': Learning how many Examples to use for
In-Context Learning for Improved Text Classification
- Title（参考訳）: 'サイズがすべてに合わない': テキスト分類を改善するために、コンテキスト内学習に使用するサンプル数を学ぶ
- Authors: Manish Chandra, Debasis Ganguly, Yiwen Li, Iadh Ounis
- Abstract要約: In-context Learning (ICL) は、少数のラベル付きデータインスタンスをプロンプトの例として使用する。
本稿では,データに代表されるサンプル数を動的に適応させる手法を提案する。
実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
- 参考スコア（独自算出の注目度）: 18.167541508658417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive models in natural language processing (NLP) have evolved from
training models from scratch to fine-tuning pre-trained models with labelled
data. An extreme form of this fine-tuning involves in-context learning (ICL),
where the output of a pre-trained generative model (frozen decoder parameters)
is controlled only with variations in the input strings (called instructions or
prompts). An important component of ICL is the use of a small number of
labelled data instances as examples in the prompt. While existing work uses a
static number of examples during inference for each data instance, in this
paper we propose a novel methodology of dynamically adapting the number of
examples as per the data. This is analogous to the use of a variable-sized
neighborhood in k-nearest neighbors (k-NN) classifier. In our proposed workflow
of adaptive ICL (AICL), the number of demonstrations to employ during the
inference on a particular data instance is predicted by the Softmax posteriors
of a classifier. The parameters of this classifier are fitted on the optimal
number of examples in ICL required to correctly infer the label of each
instance in the training set with the hypothesis that a test instance that is
similar to a training instance should use the same (or a closely matching)
number of few-shot examples. Our experiments show that our AICL method results
in improvement in text classification task on several standard datasets.
- Abstract（参考訳）: 自然言語処理(NLP)の予測モデルは、スクラッチからラベル付きデータによる微調整済みモデルまで進化してきた。
この微調整の極端な形式は、事前訓練された生成モデル(凍結デコーダパラメータ)の出力を入力文字列(命令またはプロンプトと呼ばれる)のバリエーションでのみ制御するインコンテキスト学習(ICL)である。
ICLの重要なコンポーネントは、少数のラベル付きデータインスタンスをプロンプトの例として使用することである。
既存の研究では,各データインスタンスの推論において,静的な例数を用いるが,本論文では,データごとの例数を動的に適応させる手法を提案する。
これはk-ネアレスト近傍(k-NN)分類器における可変サイズ近傍の使用と類似している。
適応型ICL(AICL)のワークフローでは、特定のデータインスタンスの推論中に使用するデモの数は、分類器のSoftmax後部によって予測される。
この分類器のパラメータは、トレーニングセット内の各インスタンスのラベルを正しく推測するために要求される icl の最適なサンプル数に適合し、トレーニングインスタンスに似たテストインスタンスは、同じ(または密接に一致する)数の少数ショットのサンプルを使用するべきであるという仮説を持つ。
実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
関連論文リスト
- Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。
入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。
敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文 参考訳（メタデータ） (2024-10-22T17:45:47Z) - Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文 参考訳（メタデータ） (2024-05-25T08:23:05Z) - "In-Context Learning" or: How I learned to stop worrying and love "Applied Information Retrieval" [9.264121218481133]
In-context Learning (ICL)は、自然言語処理(NLP)の新しいパラダイムとして進化してきた。
ICLは概念的には$k$-NNのような非パラメトリックアプローチに似ている。
トレーニングセットから取得したICLの同様の例は、IRのコレクションから取得したドキュメントのセットに関連している。
論文 参考訳（メタデータ） (2024-05-02T09:25:24Z) - Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。
テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。
GOとSALの2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-12T23:27:46Z) - ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。
インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。
パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-31T05:56:15Z) - Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。
ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文 参考訳（メタデータ） (2023-05-24T06:55:09Z) - Data Curation Alone Can Stabilize In-context Learning [20.874674130060388]
In-context Learning (ICL) は、大規模な言語モデルに対して、一連のトレーニング例でそれらを促すことで、新しいタスクを実行することを可能にする。
トレーニングセットからランダムにサンプルをサンプリングすると、パフォーマンスのばらつきが高くなります。
トレーニングデータのサブセットを慎重にキュレートすることは、ICLアルゴリズムに他の変更を加えることなく、ICLのパフォーマンスを大幅に安定化させることを示す。
論文 参考訳（メタデータ） (2022-12-20T15:58:54Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳（メタデータ） (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。