論文の概要: Sample Efficient Demonstration Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2506.08607v1
• Date: Tue, 10 Jun 2025 09:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.15309
• Title: Sample Efficient Demonstration Selection for In-Context Learning
• Title（参考訳）: インコンテキスト学習のためのサンプル効率の良いデモ選択法
• Authors: Kiran Purohit, V Venktesh, Sourangshu Bhattacharya, Avishek Anand,
• Abstract要約: 本稿では,最上位の武器識別問題として,模範選択タスクを定式化する。 このセットアップにおける重要な課題は、mベストアームを特定するために評価される必要のある、指数関数的に多数のアームである。 そこで我々は,カレンガーアームのショートリストを維持する,サンプル効率の高い新規探索戦略CASEを提案する。
• 参考スコア（独自算出の注目度）: 4.637359990120997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The in-context learning paradigm with LLMs has been instrumental in advancing a wide range of natural language processing tasks. The selection of few-shot examples (exemplars / demonstration samples) is essential for constructing effective prompts under context-length budget constraints. In this paper, we formulate the exemplar selection task as a top-m best arms identification problem. A key challenge in this setup is the exponentially large number of arms that need to be evaluated to identify the m-best arms. We propose CASE (Challenger Arm Sampling for Exemplar selection), a novel sample-efficient selective exploration strategy that maintains a shortlist of "challenger" arms, which are current candidates for the top-m arms. In each iteration, only one of the arms from this shortlist or the current topm set is pulled, thereby reducing sample complexity and, consequently, the number of LLM evaluations. Furthermore, we model the scores of exemplar subsets (arms) using a parameterized linear scoring function, leading to stochastic linear bandits setting. CASE achieves remarkable efficiency gains of up to 7x speedup in runtime while requiring 7x fewer LLM calls (87% reduction) without sacrificing performance compared to state-of-the-art exemplar selection methods. We release our code and data at https://github.com/kiranpurohit/CASE
• Abstract（参考訳）: LLMを用いた文脈内学習パラダイムは、幅広い自然言語処理タスクの進行に役立っている。 文脈長の予算制約の下で効果的なプロンプトを構築するには、いくつかの例(例/デモサンプル)の選択が不可欠である。 本稿では,最上位の武器識別問題として,模範選択タスクを定式化する。 このセットアップにおける重要な課題は、mベストアームを特定するために評価される必要のある、指数関数的に多数のアームである。 提案するCASE(Challenger Arm Smpling for Exemplar selection)は,現在トップmの腕候補である「Challenger」アームのショートリストを維持した,サンプル効率の高い選択探索戦略である。 各イテレーションにおいて、このショートリストまたは現在の topm セットからのアームの1つだけをプルすることで、サンプルの複雑さを低減し、その結果 LLM 評価の回数を減少させる。 さらに、パラメータ化線形スコアリング関数を用いて、模範部分集合(アーム)のスコアをモデル化し、確率的線形バンディットの設定につながる。 ケースは実行時に最大7倍の効率向上を達成し、7倍のLLM呼び出し(87%の削減)が必要であり、最先端の先例選択法と比較して性能を犠牲にしない。 コードとデータはhttps://github.com/kiranpurohit/CASEで公開しています。

関連論文リスト

• Learning to Reason Across Parallel Samples for LLM Reasoning [45.60752271688715]
  テスト時間計算のスケールアップは、大規模な言語モデルに大幅なパフォーマンス向上をもたらす。 このような複数のサンプルセットを活用する新しい方法を提案する。 我々は、複数のサンプルのシーケンスを取り、最終的な答えを出力するコンパクトなLLMを訓練する。
  論文  参考訳（メタデータ） (2025-06-10T17:42:35Z)
• EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
  大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。 ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
  論文  参考訳（メタデータ） (2024-11-06T12:48:04Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Max-Utility Based Arm Selection Strategy For Sequential Query Recommendations [16.986870945319293]
  オンライン情報収集や探索分析のようなクローズドループ対話型学習環境におけるクエリレコメンデーション問題について考察する。 この問題は、数え切れないほど多くの腕を持つマルチアーマッド・バンド(MAB)フレームワークを使って、自然にモデル化することができる。 このような選択戦略がしばしば高い累積的後悔をもたらすことを示し、この結果から、武器の最大有効性に基づく選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-31T13:03:30Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。