論文の概要: In-Context Learning for Text Classification with Many Labels
- arxiv url: http://arxiv.org/abs/2309.10954v2
- Date: Wed, 6 Dec 2023 03:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 18:11:39.774739
- Title: In-Context Learning for Text Classification with Many Labels
- Title(参考訳): 多数のラベルを用いたテキスト分類のための文脈内学習
- Authors: Aristides Milios, Siva Reddy, Dzmitry Bahdanau
- Abstract要約: 多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られているため困難である。
我々は、この制限を回避するために、事前訓練された高密度検索モデルを使用する。
我々は、コンテキスト内サンプルの数と異なるモデルスケールのパフォーマンスを分析します。
- 参考スコア(独自算出の注目度): 34.87532045406169
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) using large language models for tasks with many
labels is challenging due to the limited context window, which makes it
difficult to fit a sufficient number of examples in the prompt. In this paper,
we use a pre-trained dense retrieval model to bypass this limitation, giving
the model only a partial view of the full label space for each inference call.
Testing with recent open-source LLMs (OPT, LLaMA), we set new state of the art
performance in few-shot settings for three common intent classification
datasets, with no finetuning. We also surpass fine-tuned performance on
fine-grained sentiment classification in certain cases. We analyze the
performance across number of in-context examples and different model scales,
showing that larger models are necessary to effectively and consistently make
use of larger context lengths for ICL. By running several ablations, we analyze
the model's use of: a) the similarity of the in-context examples to the current
input, b) the semantic content of the class names, and c) the correct
correspondence between examples and labels. We demonstrate that all three are
needed to varying degrees depending on the domain, contrary to certain recent
works.
- Abstract(参考訳): 多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られており、プロンプトに十分な数のサンプルを適合させることが困難である。
本稿では,事前学習された高密度検索モデルを用いて,この制限を回避し,各推論呼出の完全なラベル空間の部分的なビューのみを与える。
近年のオープンソースLLM (OPT, LLaMA) を用いて, 3つの共通の意図分類データセットに対して, ファインタニングを伴わずに, 数ショット設定でアートパフォーマンスの新たな状態を設定した。
また,特定の場合において,細粒度感情分類の微調整性能を上回った。
我々は,複数のインコンテキストサンプルと異なるモデルスケールのパフォーマンスを分析し,大規模モデルがiclのより大きなコンテキスト長を効果的かつ一貫して利用する必要があることを示した。
いくつかのアブレーションを実行することで、モデルの使い方を分析します。
a) インコンテキストの例と現在の入力との類似性
b) クラス名の意味的内容,及び
c) 例とラベルの正確な対応
最近の研究とは対照的に、3つ全てがドメインによって異なる次数を必要とすることを実証する。
関連論文リスト
- 'One size doesn't fit all': Learning how many Examples to use for
In-Context Learning for Improved Text Classification [18.167541508658417]
In-context Learning (ICL) は、少数のラベル付きデータインスタンスをプロンプトの例として使用する。
本稿では,データに代表されるサンプル数を動的に適応させる手法を提案する。
実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
論文 参考訳(メタデータ) (2024-03-11T03:28:13Z) - ArcheType: A Novel Framework for Open-Source Column Type Annotation
using Large Language Models [27.16599463833913]
ArcheTypeは、コンテキストサンプリング、即時シリアライゼーション、モデルクエリ、ラベルリマッピングのための、シンプルで実用的な方法である。
ゼロショットCTAベンチマークに最先端の性能を新たに確立する。
論文 参考訳(メタデータ) (2023-10-27T15:31:22Z) - BYOC: Personalized Few-Shot Classification with Co-Authored Class
Descriptions [2.076173115539025]
LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。
わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。
例、質問、回答は、分類プロンプトを形成するために要約される。
論文 参考訳(メタデータ) (2023-10-09T19:37:38Z) - Self-Supervised Open-Ended Classification with Small Visual Language
Models [60.23212389067007]
我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。
約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
論文 参考訳(メタデータ) (2023-09-30T21:41:21Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳(メタデータ) (2023-02-12T15:05:10Z) - Multi-Modal Few-Shot Object Detection with Meta-Learning-Based
Cross-Modal Prompting [77.69172089359606]
本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。
我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。
提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
論文 参考訳(メタデータ) (2022-04-16T16:45:06Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Semantic-Oriented Unlabeled Priming for Large-Scale Language Models [12.074766935042588]
本稿では,意味論的に類似した未ラベルの事例を検索して例を分類する手法であるSemantic-Oriented Unlabeled Priming (SOUP)を紹介する。
また、コンテクスト設定に適した新しいプライミング戦略であるbaba-of-contexts primingを提案し、コンテキストウィンドウに収まるよりも多くの例を利用できるようにした。
論文 参考訳(メタデータ) (2022-02-12T19:50:59Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳(メタデータ) (2020-06-12T22:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。