論文の概要: Coverage-based Example Selection for In-Context Learning
- arxiv url: http://arxiv.org/abs/2305.14907v1
- Date: Wed, 24 May 2023 08:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 17:52:57.750397
- Title: Coverage-based Example Selection for In-Context Learning
- Title(参考訳): インコンテキスト学習のためのカバレッジに基づくサンプル選択
- Authors: Shivanshu Gupta, Sameer Singh, Matt Gardner
- Abstract要約: インコンテキスト学習(ICL)では、テストインスタンスについて情報を提供するデモが必要である。
最も類似した例を独立に選択する標準的なアプローチは、冗長なデモを選択する。
本研究は, 実感的側面を包括的に把握し, 実感性を評価するための枠組みを提案する。
- 参考スコア(独自算出の注目度): 51.095144091781734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL), the ability of large language models to perform
novel tasks by conditioning on a prompt with a few task examples, requires
demonstrations that are informative about the test instance. The standard
approach of independently selecting the most similar examples selects redundant
demonstrations while overlooking important information. This work proposes a
framework for assessing the informativeness of demonstrations based on their
coverage of salient aspects (e.g., reasoning patterns) of the test input. Using
this framework, we show that contextual token embeddings effectively capture
these salient aspects, and their recall measured using BERTScore-Recall (BSR)
yields a reliable measure of informativeness. Further, we extend recall metrics
like BSR to propose their set versions to find maximally informative sets of
demonstrations. On 6 complex compositional generation tasks and 7 diverse LLMs,
we show that Set-BSR outperforms the standard similarity-based approach by up
to 16% on average and, despite being learning-free, often surpasses methods
that leverage task or LLM-specific training.
- Abstract(参考訳): インコンテキスト学習(icl:in-context learning)は、プロンプトをいくつかのタスク例で条件付けすることで、新しいタスクを実行するための大きな言語モデルの機能である。
最も類似した例を独立に選択する標準的なアプローチは、重要な情報を無視しながら冗長なデモを選択する。
本研究は,テスト入力の有意義な側面(例えば推論パターン)のカバレッジに基づいて,デモンストレーションのインフォメーション性を評価するためのフレームワークを提案する。
このフレームワークを用いて,コンテキストトークンの埋め込みがこれらの健全な側面を効果的に捉え,そのリコールをBERTScore-Recall (BSR) を用いて測定することにより,信頼性の高い情報量が得られることを示す。
さらに、BSRのようなリコールメトリクスを拡張して、それらのセットバージョンを提案し、最大情報的なデモセットを見つける。
6つの複雑な構成生成タスクと7つの多種多様なLCMにおいて、Set-BSRは平均16%の類似性に基づくアプローチよりも優れており、学習自由であるにもかかわらず、タスクやLLM固有のトレーニングを利用する手法よりも優れていることが示される。
関連論文リスト
- EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。
ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
論文 参考訳(メタデータ) (2024-11-06T12:48:04Z) - Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。
近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。
本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
論文 参考訳(メタデータ) (2024-05-28T10:39:10Z) - Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文 参考訳(メタデータ) (2024-05-25T08:23:05Z) - Designing Informative Metrics for Few-Shot Example Selection [14.961505860372492]
本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。
このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。
文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
論文 参考訳(メタデータ) (2024-03-06T17:11:38Z) - $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。
以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。
本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
論文 参考訳(メタデータ) (2024-02-21T15:35:04Z) - GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳(メタデータ) (2023-11-16T06:28:05Z) - Metric-Based In-context Learning: A Case Study in Text Simplification [5.33024001730262]
大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。
ICLのサンプルを選択する最良の方法を決定するのは簡単ではなく、その結果は使用するサンプルの品質、量、順序によって大きく異なる。
本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
論文 参考訳(メタデータ) (2023-07-27T05:45:35Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:23:08Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Finding Support Examples for In-Context Learning [73.90376920653507]
本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。
まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。
そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
論文 参考訳(メタデータ) (2023-02-27T06:32:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。