論文の概要: KITE: Kernelized and Information Theoretic Exemplars for In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.15676v1
• Date: Fri, 19 Sep 2025 06:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.037866
• Title: KITE: Kernelized and Information Theoretic Exemplars for In-Context Learning
• Title（参考訳）: KITE:インテクスト学習におけるカーネル化と情報理論の実践
• Authors: Vaibhav Singh, Soumya Suvra Ghosal, Kapu Nirmal Joshua, Soumyabrata Pal, Sayak Ray Chowdhury,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデルを新しいデータに適応するための強力なパラダイムとして登場した。 本稿では,ICLにおけるサンプル選択の問題について,情報理論の原則的視点から検討する。 我々は,近似保証付きグリーディアルゴリズムを有効活用する,約部分モジュラーの原理的サロゲート目的を導出する。
• 参考スコア（独自算出の注目度）: 30.471243464952625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has emerged as a powerful paradigm for adapting large language models (LLMs) to new and data-scarce tasks using only a few carefully selected task-specific examples presented in the prompt. However, given the limited context size of LLMs, a fundamental question arises: Which examples should be selected to maximize performance on a given user query? While nearest-neighbor-based methods like KATE have been widely adopted for this purpose, they suffer from well-known drawbacks in high-dimensional embedding spaces, including poor generalization and a lack of diversity. In this work, we study this problem of example selection in ICL from a principled, information theory-driven perspective. We first model an LLM as a linear function over input embeddings and frame the example selection task as a query-specific optimization problem: selecting a subset of exemplars from a larger example bank that minimizes the prediction error on a specific query. This formulation departs from traditional generalization-focused learning theoretic approaches by targeting accurate prediction for a specific query instance. We derive a principled surrogate objective that is approximately submodular, enabling the use of a greedy algorithm with an approximation guarantee. We further enhance our method by (i) incorporating the kernel trick to operate in high-dimensional feature spaces without explicit mappings, and (ii) introducing an optimal design-based regularizer to encourage diversity in the selected examples. Empirically, we demonstrate significant improvements over standard retrieval methods across a suite of classification tasks, highlighting the benefits of structure-aware, diverse example selection for ICL in real-world, label-scarce scenarios.
• Abstract（参考訳）: In-context Learning (ICL) は、大規模言語モデル(LLM)を新しいタスクやデータに適応するための強力なパラダイムとして、いくつかの慎重に選択されたタスク固有の例をプロンプトで提示する。 しかしながら、LLMのコンテキストサイズが制限されていることを考えると、根本的な疑問が生じる。 KATEのような最寄りの手法はこの目的のために広く採用されているが、一般化の貧弱や多様性の欠如など、高次元の埋め込み空間におけるよく知られた欠点に悩まされている。 本研究では,ICLにおけるサンプル選択の問題について,情報理論の原理的視点から検討する。 まず、入力埋め込み上の線形関数としてLLMをモデル化し、クエリ固有の最適化問題として例選択タスクをフレーム化する。 この定式化は、特定のクエリインスタンスの正確な予測を目標にすることで、従来の一般化中心の学習理論のアプローチから逸脱する。 我々は,近似保証付きグリーディアルゴリズムを有効活用可能な,約部分モジュラーの原理的サロゲート目的を導出する。 我々は我々の方法をさらに強化する。 一 明示的な写像を伴わずに高次元の特徴空間で操作するためのカーネルトリックを取り入れて、 (2) 選択した例の多様性を促進するために最適設計ベース正規化器を導入する。 実世界,ラベルスカースシナリオにおけるICLの多種多様な例選択の利点を強調し,分類タスクの集合における標準検索手法よりも顕著な改善を実証した。

関連論文リスト

• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。