論文の概要: Can Jev Improve Demonstration Retrieval for In-Context Learning?

• arxiv url: http://arxiv.org/abs/2611.00737v1
• Date: Sat, 31 Oct 2026 08:31:09 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:21.834083
• Title: Can Jev Improve Demonstration Retrieval for In-Context Learning?
• Title（参考訳）: Jevは文脈内学習の実証検索を改善するか?
• Abstract要約: 演目選択は,大規模言語モデルにおける文脈内学習の有効性において重要な役割を担っている。 Jevの最近の出現は、デモユーティリティの評価に関する新しい視点を提供する。 Jevを大規模検索に適用することは、かなりの計算オーバーヘッドをもたらす。 本稿では,Jevの実用性推定能力を軽量多層パーセプトロンに伝達する簡易かつ効果的な知識蒸留手法を提案する。
• 参考スコア（独自算出の注目度）: 18.2807891911328
• License:
• Abstract: Demonstration selection plays a crucial role in the effectiveness of in-context learning (ICL) for large language models (LLMs). Extensive research has explored various retrieval strategies to identify informative demonstrations and improve downstream performance. Recently, the emergence of Jev, a decision-oriented language model capable of producing probabilistic judgments, offers a new perspective on evaluating demonstration utility. This motivates us to investigate a fundamental question: Can Jev improve demonstration retrieval for in-context learning? In this paper, we demonstrate that Jev can effectively enhance demonstration retrieval by directly assessing the utility of candidate demonstrations for a given query. However, applying Jev to large-scale retrieval introduces substantial computational overhead, as each candidate requires an additional decision-making inference. To address this limitation, we propose a simple yet effective knowledge distillation approach that transfers Jev's utility estimation capability to a lightweight multilayer perceptron (MLP). By learning to approximate Jev's probabilistic judgments, the distilled model enables efficient demonstration ranking while maintaining competitive retrieval performance. Our study highlights the potential of decision-oriented language models for demonstration selection and provides an efficient framework for integrating their decision-making capabilities into ICL.
• Abstract（参考訳）: 実証選択は,大規模言語モデル(LLM)における文脈内学習(ICL)の有効性において重要な役割を担っている。 広汎な研究は、情報的実証を識別し、下流のパフォーマンスを改善するための様々な検索戦略を探求してきた。 近年,確率的判断を生成可能な決定指向言語モデルであるJevの出現は,実演ユーティリティの評価に新たな視点を与えている。 Jevは、コンテキスト内学習のためのデモ検索を改善することができるか? 本稿では,あるクエリに対する候補演示の有用性を直接評価することにより,Jevが実演検索を効果的に向上できることを実証する。 しかし、大規模検索にJevを適用すると、各候補がさらなる意思決定推測を必要とするため、かなりの計算オーバーヘッドが発生する。 この制限に対処するために,Jevの実用性推定能力を軽量多層パーセプトロン(MLP)に転送する,シンプルで効果的な知識蒸留手法を提案する。 Jevの確率的判断を近似することを学ぶことにより、蒸留されたモデルは、競争力のある検索性能を維持しながら効率的な実証ランク付けを可能にする。 本研究は、実演選択のための意思決定言語モデルの可能性を強調し、意思決定能力をICLに統合するための効率的なフレームワークを提供する。

関連論文リスト

• Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
  インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。 実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。 より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
  論文  参考訳（メタデータ） (2025-06-16T05:37:49Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。