論文の概要: Efficient and Effective In-context Demonstration Selection with Coreset

• arxiv url: http://arxiv.org/abs/2511.08977v1
• Date: Thu, 13 Nov 2025 01:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.334209
• Title: Efficient and Effective In-context Demonstration Selection with Coreset
• Title（参考訳）: コアセットを用いた効率的かつ効果的なインコンテキスト記述選択法
• Authors: Zihua Wang, Jiarui Wang, Haiyang Xu, Ming Yan, Fei Huang, Xu Yang, Xiu-Shen Wei, Siya Mi, Yu Zhang,
• Abstract要約: 大規模ビジュアル言語モデル(LVLM)の強力なパラダイムとして、インコンテキスト学習(ICL)が登場した。 本稿では,Coreset-based Dual Retrieval (CoDR) という新しいデモ選択フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 46.77227297059547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) has emerged as a powerful paradigm for Large Visual Language Models (LVLMs), enabling them to leverage a few examples directly from input contexts. However, the effectiveness of this approach is heavily reliant on the selection of demonstrations, a process that is NP-hard. Traditional strategies, including random, similarity-based sampling and infoscore-based sampling, often lead to inefficiencies or suboptimal performance, struggling to balance both efficiency and effectiveness in demonstration selection. In this paper, we propose a novel demonstration selection framework named Coreset-based Dual Retrieval (CoDR). We show that samples within a diverse subset achieve a higher expected mutual information. To implement this, we introduce a cluster-pruning method to construct a diverse coreset that aligns more effectively with the query while maintaining diversity. Additionally, we develop a dual retrieval mechanism that enhances the selection process by achieving global demonstration selection while preserving efficiency. Experimental results demonstrate that our method significantly improves the ICL performance compared to the existing strategies, providing a robust solution for effective and efficient demonstration selection.
• Abstract（参考訳）: インコンテキスト学習(ICL)はLVLM(Large Visual Language Models)の強力なパラダイムとして登場し、入力コンテキストから直接いくつかの例を活用できるようになった。 しかし、このアプローチの有効性は、NPハードなプロセスであるデモの選択に大きく依存している。 ランダムな類似性に基づくサンプリングやインフォスコアに基づくサンプリングを含む従来の戦略は、しばしば非効率性や準最適性能をもたらす。 本稿では,Coreset-based Dual Retrieval (CoDR) という新しいデモ選択フレームワークを提案する。 多様なサブセット内のサンプルは、より期待された相互情報が得られることを示す。 これを実現するために,多様性を維持しつつクエリとより効果的に整合する,多様なコアセットを構築するクラスタ・プルーニング手法を提案する。 さらに,効率を保ちながらグローバルな実演選択を達成し,選択プロセスを強化する二重検索機構を開発する。 実験の結果,提案手法は既存手法と比較してICL性能を著しく向上し,効率的な実演選択のための堅牢なソリューションを提供することがわかった。

関連論文リスト

• Towards Compute-Optimal Many-Shot In-Context Learning [69.38428467281862]
  マルチショットICLにおけるデモ選択のための2つの戦略を提案する。 最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。 第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
  論文  参考訳（メタデータ） (2025-07-22T04:21:03Z)
• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。