論文の概要: The Role of Diversity in In-Context Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.19426v2
• Date: Thu, 05 Jun 2025 08:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 19:24:15.994075
• Title: The Role of Diversity in In-Context Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるインコンテキスト学習における多様性の役割
• Authors: Wenyang Xiao, Haoyu Zhao, Lingxiao Huang,
• Abstract要約: そこで本研究では,様々なタスクを対象とした実験を通して,文脈内サンプル選択における多様性の役割について検討する。 Llama-3.1、Gemma-2、Mistral-v0.3のモデルに対する実験により、多様性を考慮した選択法が性能を向上させることが示された。 本稿では、文脈内サンプル選択に多様性を取り入れることの利点を説明する理論的枠組みを紹介する。
• 参考スコア（独自算出の注目度）: 18.191350991951595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is a crucial capability of current large language models (LLMs), where the selection of examples plays a key role in performance. While most existing approaches focus on selecting the most similar examples to the query, the impact of diversity in example selection remains underexplored. We systematically investigate the role of diversity in in-context example selection through experiments across a range of tasks, from sentiment classification to more challenging math and code problems. Experiments on Llama-3.1, Gemma-2, and Mistral-v0.3 families of models show that diversity-aware selection methods improve performance, particularly on complex tasks like math and code, and enhance robustness to out-of-distribution queries. To support these findings, we introduce a theoretical framework that explains the benefits of incorporating diversity in in-context example selection.
• Abstract（参考訳）: In-context Learning(ICL)は、現在の大規模言語モデル(LLM)において重要な機能である。 既存のほとんどのアプローチでは、クエリに最もよく似た例を選択することに重点を置いているが、サンプルの選択における多様性の影響はいまだ調査されていない。 我々は、感情分類からより難しい数学やコード問題まで、様々なタスクの実験を通して、文脈内サンプル選択における多様性の役割を体系的に研究する。 Llama-3.1、Gemma-2、Mistral-v0.3のモデルの実験では、多様性を意識した選択手法は、特に数学やコードのような複雑なタスクにおいてパフォーマンスを改善し、アウト・オブ・ディストリビューションクエリに対する堅牢性を高めることが示されている。 これらの知見を裏付けるために,テキスト内サンプル選択に多様性を取り入れることの利点を説明する理論的枠組みを導入する。

関連論文リスト

• Exploring the Role of Diversity in Example Selection for In-Context Learning [15.124618479338686]
  In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 類似性に基づいた選択にのみ依存すると、検索されたコンテキストにトピックのバイアスが発生する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。
  論文  参考訳（メタデータ） (2025-05-03T15:13:58Z)
• Enhancing Contrastive Demonstration Selection with Semantic Diversity for Robust In-Context Machine Translation [0.0]
  機械翻訳のためのインコンテキスト学習におけるデモ選択のための新しいアプローチであるDiverseConEを提案する。 本手法は, 組込み空間の相似性に基づく多様性向上のステップを組み込むことにより, コントラスト選択に基づく。 以上の結果から,DiverseConEはランダム選択,BM25,TopK,最先端のコントラスト選択など,強いベースライン手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-04-12T18:35:04Z)
• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• Demonstration Selection for In-Context Learning via Reinforcement Learning [16.103533806505403]
  Relevance-Diversity Enhanced Selection (RDES)は、多様な参照デモの選択を最適化するための革新的なアプローチである。 RDESはQ-learningのようなフレームワークとPPOベースの変種を使用して、多様性を最大化するデモを動的に識別する。 RDESは10基のベースラインに比べて性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-12-05T08:33:52Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。