論文の概要: Exploring the Role of Diversity in Example Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2505.01842v2
• Date: Tue, 06 May 2025 14:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.953937
• Title: Exploring the Role of Diversity in Example Selection for In-Context Learning
• Title（参考訳）: インテクスト学習の事例選択における多様性の役割を探る
• Authors: Janak Kapuriya, Manit Kaushik, Debasis Ganguly, Sumit Bhatia,
• Abstract要約: In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 類似性に基づいた選択にのみ依存すると、検索されたコンテキストにトピックのバイアスが発生する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。
• 参考スコア（独自算出の注目度）: 15.124618479338686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has gained prominence due to its ability to perform tasks without requiring extensive training data and its robustness to noisy labels. A typical ICL workflow involves selecting localized examples relevant to a given input using sparse or dense embedding-based similarity functions. However, relying solely on similarity-based selection may introduce topical biases in the retrieved contexts, potentially leading to suboptimal downstream performance. We posit that reranking the retrieved context to enhance topical diversity can improve downstream task performance. To achieve this, we leverage maximum marginal relevance (MMR) which balances topical similarity with inter-example diversity. Our experimental results demonstrate that diversifying the selected examples leads to consistent improvements in downstream performance across various context sizes and similarity functions. The implementation of our approach is made available at https://github.com/janak11111/Diverse-ICL.
• Abstract（参考訳）: In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 典型的なICLワークフローは、スパースまたは密埋め込みに基づく類似関数を使用して、与えられた入力に関連する局所化された例を選択することを含む。 しかし、類似性に基づく選択のみに依存すると、検索されたコンテキストにトピックバイアスが生じ、最適化された下流のパフォーマンスが低下する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。 これを実現するために、局所的類似性とサンプル間多様性のバランスをとる最大限界関連性(MMR)を利用する。 実験結果から,選択したサンプルの多様化は,様々なコンテキストサイズと類似度関数のダウンストリーム性能を一貫した改善をもたらすことが示された。 このアプローチの実装はhttps://github.com/janak11111/Diverse-ICLで公開されています。

関連論文リスト

• Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities [15.931776592470895]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて新しいタスクに適応できる 本稿では,ICLのための新しいベイジアン・イン・コンテクスト・サンプル・セレクション法(ByCS)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T03:42:48Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。