論文の概要: Coverage-based Example Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2305.14907v2
• Date: Thu, 26 Oct 2023 01:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 02:00:46.632373
• Title: Coverage-based Example Selection for In-Context Learning
• Title（参考訳）: インコンテキスト学習のためのカバレッジに基づくサンプル選択
• Authors: Shivanshu Gupta, Matt Gardner, Sameer Singh
• Abstract要約: BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。 6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
• 参考スコア（独自算出の注目度）: 27.215972147196805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL), the ability of large language models to perform novel tasks by conditioning on a prompt with a few task examples, requires these examples to be informative about the test instance. The standard approach of independently ranking and selecting the most similar examples selects redundant examples while omitting important information. In this work, we show that BERTScore-Recall (BSR) selects better examples that demonstrate more of the salient aspects, e.g. reasoning patterns, of the test input. We further extend BSR and many standard metrics to easily optimizable set-level metrics, giving still better coverage of those salient aspects. On 15 datasets spanning 6 tasks and with 7 diverse LLMs, we show that (1) BSR is the superior metric for in-context example selection across the board, and (2) for compositional tasks, set selection using Set-BSR outperforms independent ranking by up to 17 points on average and, despite being training-free, surpasses methods that leverage task or LLM-specific training.
• Abstract（参考訳）: インコンテキスト学習(icl:in-context learning)は、プロンプトをいくつかのタスク例で条件付けすることで、新しいタスクを実行するための大きな言語モデルの能力である。 最も類似した例を独立にランク付けして選択する標準的なアプローチは、重要な情報を省略しながら冗長な例を選択する。 本研究では、BERTScore-Recall(BSR)が、テスト入力の推論パターンなど、より健全な側面を示すより良い例を選択していることを示す。 さらに、bsrと多くの標準メトリクスを拡張して、簡単に最適化可能なセットレベルのメトリクスを作りました。 6つのタスクにまたがる15のデータセットと7つのLLMにまたがって、(1)BSRは、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2)構成的タスクでは、Set-BSRを用いた選択は、平均17ポイントまで、そしてトレーニング不要であるにもかかわらず、タスクやLLM固有のトレーニングを利用するメソッドを超越していることを示す。

関連論文リスト

• EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
  大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。 ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
  論文  参考訳（メタデータ） (2024-11-06T12:48:04Z)
• Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
  アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T10:39:10Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Designing Informative Metrics for Few-Shot Example Selection [14.961505860372492]
  本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。 このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。 文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
  論文  参考訳（メタデータ） (2024-03-06T17:11:38Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Metric-Based In-context Learning: A Case Study in Text Simplification [5.33024001730262]
  大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。 ICLのサンプルを選択する最良の方法を決定するのは簡単ではなく、その結果は使用するサンプルの品質、量、順序によって大きく異なる。 本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T05:45:35Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。