論文の概要: Data Efficient Sample Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2609.06670v2
• Date: Sun, 13 Sep 2026 07:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:04.444709
• Title: Data Efficient Sample Selection for In-Context Learning
• Title（参考訳）: インコンテキスト学習のためのデータ効率の良いサンプル選択
• Abstract要約: インコンテキスト学習(ICL)は、大規模言語モデル(LLM)が微調整を必要とせずに新しいタスクに適応できるようにする。 既存の選択手法は、ICLサンプルと下流LLM性能の複雑な関係をモデル化していない。 本稿では,サンプル選択をサブセットランキング問題としてモデル化する新しいフレームワークであるDearICLを紹介する。
• 参考スコア（独自算出の注目度）: 7.910984819642885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The In-context learning (ICL) paradigm aids large language models (LLMs) to adapt to new tasks without need for fine-tuning. However, selecting an optimal combination of demonstration examples from a large pool of example subsets is a challenging problem. Existing approaches for selection do not model the complex relationship between ICL samples and downstream LLM performance. They typically perform static task-level selection, choosing subsets once offline, which can fail to generalize to unseen queries. We introduce DearICL (Data Efficient Algorithm for Ranking) ICL samples, a new framework that models demonstration example selection as a subset ranking problem. DearICL employs a non-linear surrogate employing a differentiable sorting objective within a gap-index bandit algorithm. The gap-index based approach enables fine-grained separation of good arms and borderline arms, which is used as an auxiliary objective to train the non-linear surrogate through sufficient sampling of borderline arms, supporting instance-level subset ranking. On exemplar selection benchmarks with open-source LLMs, DearICL achieves 8.08-15.9% accuracy gains over strong linear bandit baselines, with low sample complexity. Code and data: https://github.com/VenkteshV/DearICL.
• Abstract（参考訳）: In-context Learning(ICL)パラダイムは、大規模言語モデル(LLM)が微調整を必要とせずに新しいタスクに適応できるようにする。 しかし、サンプルサブセットの大きなプールからデモ例の最適な組み合わせを選択することは難しい問題である。 既存の選択手法は、ICLサンプルと下流LLM性能の複雑な関係をモデル化していない。 通常、静的なタスクレベルの選択を行い、オフラインでサブセットを選択する。 DearICL (Data Efficient Algorithm for Ranking) ICL sampleは、サンプル選択をサブセットランキング問題としてモデル化する新しいフレームワークである。 DearICLは、ギャップ・インデックス・バンディットアルゴリズムにおいて、微分可能なソート目的を用いた非線形サロゲートを採用している。 ギャップインデックスに基づくアプローチは、優れた腕と境界線の腕のきめ細かい分離を可能にする。これは、境界線の腕の十分なサンプリングを通じて非線形サロゲートを訓練するための補助目的として使用され、インスタンスレベルのサブセットランキングをサポートする。 オープンソースのLLMを使った典型的な選択ベンチマークでは、DearICLは8.08～15.9%の精度で、強い線形バンドレートベースラインを上回り、サンプルの複雑さが低い。 コードとデータ:https://github.com/VenkteshV/DearICL。

関連論文リスト

• Mixture of Complementary Agents for Robust LLM Ensemble [28.210955621253863]
  大規模言語モデル(LLM)のアンサンブルや議論のようなマルチAIコラボレーションは、情報収集とパフォーマンス向上のための有望なパラダイムである。 既存のアプローチは、主に正確性(最強のモデルを選ぶ)または多様性(多様性の保証)に焦点を当てています。 我々は、LLMの値が他と相補関係にある特徴選択に類似した選択問題として、提案者選択を再設定する。
  論文  参考訳（メタデータ） (2026-05-21T21:29:05Z)
• On Selecting Few-Shot Examples for LLM-based Code Vulnerability Detection [8.460805514983816]
  大規模言語モデル(LLM)は、多くのコーディングタスクにおいて印象的な機能を示している。 コードの脆弱性を検出することは、LLMにとって難しい課題である。 In-context Learning (ICL)は、クエリと同様のサンプルと正しい回答を提供する。
  論文  参考訳（メタデータ） (2025-10-31T17:41:58Z)
• KITE: Kernelized and Information Theoretic Exemplars for In-Context Learning [30.471243464952625]
  In-context Learning (ICL) は、大規模言語モデルを新しいデータに適応するための強力なパラダイムとして登場した。 本稿では,ICLにおけるサンプル選択の問題について,情報理論の原則的視点から検討する。 我々は,近似保証付きグリーディアルゴリズムを有効活用する,約部分モジュラーの原理的サロゲート目的を導出する。
  論文  参考訳（メタデータ） (2025-09-19T06:50:03Z)
• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
  大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。 ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
  論文  参考訳（メタデータ） (2024-11-06T12:48:04Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。