論文の概要: Coverage-based Example Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2305.14907v1
• Date: Wed, 24 May 2023 08:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:52:57.750397
• Title: Coverage-based Example Selection for In-Context Learning
• Title（参考訳）: インコンテキスト学習のためのカバレッジに基づくサンプル選択
• Authors: Shivanshu Gupta, Sameer Singh, Matt Gardner
• Abstract要約: インコンテキスト学習(ICL)では、テストインスタンスについて情報を提供するデモが必要である。 最も類似した例を独立に選択する標準的なアプローチは、冗長なデモを選択する。 本研究は, 実感的側面を包括的に把握し, 実感性を評価するための枠組みを提案する。
• 参考スコア（独自算出の注目度）: 51.095144091781734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL), the ability of large language models to perform novel tasks by conditioning on a prompt with a few task examples, requires demonstrations that are informative about the test instance. The standard approach of independently selecting the most similar examples selects redundant demonstrations while overlooking important information. This work proposes a framework for assessing the informativeness of demonstrations based on their coverage of salient aspects (e.g., reasoning patterns) of the test input. Using this framework, we show that contextual token embeddings effectively capture these salient aspects, and their recall measured using BERTScore-Recall (BSR) yields a reliable measure of informativeness. Further, we extend recall metrics like BSR to propose their set versions to find maximally informative sets of demonstrations. On 6 complex compositional generation tasks and 7 diverse LLMs, we show that Set-BSR outperforms the standard similarity-based approach by up to 16% on average and, despite being learning-free, often surpasses methods that leverage task or LLM-specific training.
• Abstract（参考訳）: インコンテキスト学習(icl:in-context learning)は、プロンプトをいくつかのタスク例で条件付けすることで、新しいタスクを実行するための大きな言語モデルの機能である。 最も類似した例を独立に選択する標準的なアプローチは、重要な情報を無視しながら冗長なデモを選択する。 本研究は,テスト入力の有意義な側面(例えば推論パターン)のカバレッジに基づいて,デモンストレーションのインフォメーション性を評価するためのフレームワークを提案する。 このフレームワークを用いて,コンテキストトークンの埋め込みがこれらの健全な側面を効果的に捉え,そのリコールをBERTScore-Recall (BSR) を用いて測定することにより,信頼性の高い情報量が得られることを示す。 さらに、BSRのようなリコールメトリクスを拡張して、それらのセットバージョンを提案し、最大情報的なデモセットを見つける。 6つの複雑な構成生成タスクと7つの多種多様なLCMにおいて、Set-BSRは平均16%の類似性に基づくアプローチよりも優れており、学習自由であるにもかかわらず、タスクやLLM固有のトレーニングを利用する手法よりも優れていることが示される。

関連論文リスト

• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。 ICCDは、正と負のインコンテキストの例の出力分布を対比することで、入力ラベルマッピングを強調する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Revisiting In-Context Learning with Long Context Language Models [26.141121450077637]
  In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。
  論文  参考訳（メタデータ） (2024-12-22T08:55:19Z)
• PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
  大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。 ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。 本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
  論文  参考訳（メタデータ） (2024-12-07T17:51:31Z)
• EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
  大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。 ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
  論文  参考訳（メタデータ） (2024-11-06T12:48:04Z)
• Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
  アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T10:39:10Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Metric-Based In-context Learning: A Case Study in Text Simplification [5.33024001730262]
  大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。 ICLのサンプルを選択する最良の方法を決定するのは簡単ではなく、その結果は使用するサンプルの品質、量、順序によって大きく異なる。 本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T05:45:35Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。