論文の概要: Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection

• arxiv url: http://arxiv.org/abs/2605.18512v1
• Date: Mon, 18 May 2026 15:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.893626
• Title: Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection
• Title（参考訳）: 判断より判断し易い:演目選択における文脈内学習の成功を予測する
• Authors: Haochun Wang, Chaofen Yang, Jiatong Liu, Jingbo Wang, Zewen Qiang, Sendong Zhao, Bing Qin, Ting Liu,
• Abstract要約: インコンテキスト学習(ICL)は、どのデモがプロンプトに現れるかに非常に敏感である。 クエリを困難に階層化するサンプル・アンド・ジャッジ・フレームワークであるDiSPを提案する。
• 参考スコア（独自算出の注目度）: 39.09905609945585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is highly sensitive to which demonstrations appear in the prompt, but selecting them is expensive because the space of possible demonstration contexts and combinations is enormous. We argue that demonstration selection is \emph{easier to judge than to find}: predicting whether a specific query--context pair $(q,D)$ will succeed is cheaper and more general than searching for an optimal $D^\star$. Based on this insight, we propose DiSP, a sample-and-judge framework that stratifies queries by difficulty. DiSP runs random demonstration trials to estimate success rate of each training query, trains a lightweight router to predict difficulty from the query, and trains level-specific judges for sampled demonstrations. At inference, DiSP performs stop-on-acceptance judging under an explicit budget, emitting diagnostic risk tags when no suitable context is found. Across five classification datasets with Llama~3--8B and Qwen~2.5--7B, DiSP achieves the best average accuracy, improving over strong learned selection baselines by up to 3.4\%, while achieving up to $23\times$ end-to-end wall-clock speedup.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、どのデモがプロンプトに現れるかに非常に敏感であるが、デモコンテキストと組み合わせの空間が巨大であるため、それらを選択することは高価である。 特定のクエリ-コンテキスト対$(q,D)$が成功するかどうかを予測することは、最適な$D^\star$を探すよりも安く、より一般的である。 この知見に基づいて,クエリを困難に階層化するサンプル・アンド・ジャッジ・フレームワークであるDiSPを提案する。 DiSPはランダムな実証試験を実施して、各トレーニングクエリの成功率を推定し、クエリの難しさを予測するために軽量ルータをトレーニングし、サンプル化されたデモのためにレベル固有の裁判官を訓練する。 推測において、DiSPは明示的な予算の下で停止許容判定を行い、適切なコンテキストが見つからなかった場合に診断リスクタグを出力する。 Llama~3--8BとQwen~2.5--7Bの5つの分類データセットで、DiSPは最高の平均精度を達成し、強力な学習ベースラインを最大3.4\%改善し、最大23\times$エンドツーエンドのウォールクロックスピードアップを達成する。

関連論文リスト

• Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning [9.851186633544975]
  目的分類のための軽量な教師付きメタ学習手法であるMeta-Selを提案する。 ラベル付きトレーニングデータから(候補、クエリ)ペアの高速で解釈可能なスコアリング関数を学習する。 推測時、セレクタは全候補プール上で1つのベクトル化スコアを実行し、トップkのデモを返す。
  論文  参考訳（メタデータ） (2026-02-12T16:11:29Z)
• Towards Compute-Optimal Many-Shot In-Context Learning [69.38428467281862]
  マルチショットICLにおけるデモ選択のための2つの戦略を提案する。 最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。 第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
  論文  参考訳（メタデータ） (2025-07-22T04:21:03Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
  GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。 その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。 本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
  論文  参考訳（メタデータ） (2021-01-17T23:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。