論文の概要: Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection

• arxiv url: http://arxiv.org/abs/2605.18512v1
• Date: Mon, 18 May 2026 15:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.893626
• Title: Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection
• Title（参考訳）: 判断より判断し易い:演目選択における文脈内学習の成功を予測する
• Abstract要約: インコンテキスト学習(ICL)は、どのデモがプロンプトに現れるかに非常に敏感である。 クエリを困難に階層化するサンプル・アンド・ジャッジ・フレームワークであるDiSPを提案する。
• 参考スコア（独自算出の注目度）: 39.09905609945585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is highly sensitive to which demonstrations appear in the prompt, but selecting them is expensive because the space of possible demonstration contexts and combinations is enormous. We argue that demonstration selection is \emph{easier to judge than to find}: predicting whether a specific query--context pair $(q,D)$ will succeed is cheaper and more general than searching for an optimal $D^\star$. Based on this insight, we propose DiSP, a sample-and-judge framework that stratifies queries by difficulty. DiSP runs random demonstration trials to estimate success rate of each training query, trains a lightweight router to predict difficulty from the query, and trains level-specific judges for sampled demonstrations. At inference, DiSP performs stop-on-acceptance judging under an explicit budget, emitting diagnostic risk tags when no suitable context is found. Across five classification datasets with Llama~3--8B and Qwen~2.5--7B, DiSP achieves the best average accuracy, improving over strong learned selection baselines by up to 3.4\%, while achieving up to $23\times$ end-to-end wall-clock speedup.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、どのデモがプロンプトに現れるかに非常に敏感であるが、デモコンテキストと組み合わせの空間が巨大であるため、それらを選択することは高価である。 特定のクエリ-コンテキスト対$(q,D)$が成功するかどうかを予測することは、最適な$D^\star$を探すよりも安く、より一般的である。 この知見に基づいて,クエリを困難に階層化するサンプル・アンド・ジャッジ・フレームワークであるDiSPを提案する。 DiSPはランダムな実証試験を実施して、各トレーニングクエリの成功率を推定し、クエリの難しさを予測するために軽量ルータをトレーニングし、サンプル化されたデモのためにレベル固有の裁判官を訓練する。 推測において、DiSPは明示的な予算の下で停止許容判定を行い、適切なコンテキストが見つからなかった場合に診断リスクタグを出力する。 Llama~3--8BとQwen~2.5--7Bの5つの分類データセットで、DiSPは最高の平均精度を達成し、強力な学習ベースラインを最大3.4\%改善し、最大23\times$エンドツーエンドのウォールクロックスピードアップを達成する。

関連論文リスト

• Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning [9.851186633544975]
  目的分類のための軽量な教師付きメタ学習手法であるMeta-Selを提案する。 ラベル付きトレーニングデータから(候補、クエリ)ペアの高速で解釈可能なスコアリング関数を学習する。 推測時、セレクタは全候補プール上で1つのベクトル化スコアを実行し、トップkのデモを返す。
  論文  参考訳（メタデータ） (2026-02-12T16:11:29Z)
• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Towards Compute-Optimal Many-Shot In-Context Learning [69.38428467281862]
  マルチショットICLにおけるデモ選択のための2つの戦略を提案する。 最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。 第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
  論文  参考訳（メタデータ） (2025-07-22T04:21:03Z)
• Selecting Demonstrations for Many-Shot In-Context Learning via Gradient Matching [24.4195026869735]
  In-Context Learning (ICL) は大規模言語モデル (LLM) を活用し, 微調整を伴わない迅速なタスク適応を実現する マルチショットICLは、スケールされた実演を通して有望な性能を示すが、マルチショット実演の選択方法は、既存の作業におけるランダムな選択に限られている。 そこで本研究では,対象課題のトレーニングセット全体と選択された事例間の微調整勾配を整列させて,実演を選択する新しい勾配マッチング手法を提案し,選択された例内のトレーニングセット全体に対する学習効果にアプローチする。
  論文  参考訳（メタデータ） (2025-06-05T02:57:05Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。 両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T16:40:19Z)
• How to Query An Oracle? Efficient Strategies to Label Data [59.89900843097016]
  機械学習におけるデータセットのラベル付けに専門家の託宣を照会する際の基本的な問題について考察する。 本稿では,サンプルをラベル付けするために,ラウンド・バイ・ラウンドでランダム化されたバッチアルゴリズムを提案し,クエリレートが$O(fracNk2)$であることを示す。 さらに,適応型グリージークエリ方式を提案し,三重項クエリを用いたサンプルあたり平均$approx 0.2N$クエリを実現する。
  論文  参考訳（メタデータ） (2021-10-05T20:15:35Z)
• What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
  GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。 その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。 本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
  論文  参考訳（メタデータ） (2021-01-17T23:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。