論文の概要: Exploring the Role of Diversity in Example Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2505.01842v2
• Date: Tue, 06 May 2025 14:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.953937
• Title: Exploring the Role of Diversity in Example Selection for In-Context Learning
• Title（参考訳）: インテクスト学習の事例選択における多様性の役割を探る
• Authors: Janak Kapuriya, Manit Kaushik, Debasis Ganguly, Sumit Bhatia,
• Abstract要約: In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 類似性に基づいた選択にのみ依存すると、検索されたコンテキストにトピックのバイアスが発生する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。
• 参考スコア（独自算出の注目度）: 15.124618479338686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has gained prominence due to its ability to perform tasks without requiring extensive training data and its robustness to noisy labels. A typical ICL workflow involves selecting localized examples relevant to a given input using sparse or dense embedding-based similarity functions. However, relying solely on similarity-based selection may introduce topical biases in the retrieved contexts, potentially leading to suboptimal downstream performance. We posit that reranking the retrieved context to enhance topical diversity can improve downstream task performance. To achieve this, we leverage maximum marginal relevance (MMR) which balances topical similarity with inter-example diversity. Our experimental results demonstrate that diversifying the selected examples leads to consistent improvements in downstream performance across various context sizes and similarity functions. The implementation of our approach is made available at https://github.com/janak11111/Diverse-ICL.
• Abstract（参考訳）: In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 典型的なICLワークフローは、スパースまたは密埋め込みに基づく類似関数を使用して、与えられた入力に関連する局所化された例を選択することを含む。 しかし、類似性に基づく選択のみに依存すると、検索されたコンテキストにトピックバイアスが生じ、最適化された下流のパフォーマンスが低下する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。 これを実現するために、局所的類似性とサンプル間多様性のバランスをとる最大限界関連性(MMR)を利用する。 実験結果から,選択したサンプルの多様化は,様々なコンテキストサイズと類似度関数のダウンストリーム性能を一貫した改善をもたらすことが示された。 このアプローチの実装はhttps://github.com/janak11111/Diverse-ICLで公開されています。

関連論文リスト

• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• The Role of Diversity in In-Context Learning for Large Language Models [18.191350991951595]
  そこで本研究では,様々なタスクを対象とした実験を通して,文脈内サンプル選択における多様性の役割について検討する。 Llama-3.1、Gemma-2、Mistral-v0.3のモデルに対する実験により、多様性を考慮した選択法が性能を向上させることが示された。 本稿では、文脈内サンプル選択に多様性を取り入れることの利点を説明する理論的枠組みを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T02:37:26Z)
• Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities [15.931776592470895]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて新しいタスクに適応できる 本稿では,ICLのための新しいベイジアン・イン・コンテクスト・サンプル・セレクション法(ByCS)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T03:42:48Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• Copula for Instance-wise Feature Selection and Ranking [24.09326839818306]
  本稿では,変数間の相関を捉える強力な数学的手法であるガウスコプラを,現在の特徴選択フレームワークに組み込むことを提案する。 提案手法が有意な相関関係を捉えることができることを示すために, 合成データセットと実データセットの双方について, 性能比較と解釈可能性の観点から実験を行った。
  論文  参考訳（メタデータ） (2023-08-01T13:45:04Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。