論文の概要: Large Language Models are Demonstration Pre-Selectors for Themselves

• arxiv url: http://arxiv.org/abs/2506.06033v1
• Date: Fri, 06 Jun 2025 12:29:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.470186
• Title: Large Language Models are Demonstration Pre-Selectors for Themselves
• Title（参考訳）: 大規模言語モデルは、テーマのためのデモ前セレクタである
• Authors: Jiarui Jin, Yuwei Wu, Haoxuan Li, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, Jun Wang, Mengyue Yang,
• Abstract要約: 大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
• 参考スコア（独自算出の注目度）: 57.101804269100185
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In-context learning (ICL) with large language models (LLMs) delivers strong few-shot performance by choosing few-shot demonstrations from the entire training data. However, existing ICL methods, which rely on similarity or diversity scores to choose demonstrations, incur high computational costs due to repeatedly retrieval from large-scale datasets for each query. To this end, we propose FEEDER (FEw yet Essential Demonstration prE-selectoR), a novel pre-selection framework that identifies a representative subset of demonstrations containing the most representative examples in the training data, tailored to specific LLMs. To construct this subset, we introduce the "sufficiency" and "necessity" metrics in the pre-selection stage and design a tree-based algorithm to identify representative examples efficiently. Once pre-selected, this representative subset can effectively replace the full training data, improving efficiency while maintaining comparable performance in ICL. Additionally, our pre-selected subset also benefits fine-tuning LLMs, where we introduce a bi-level optimization method that enhances training efficiency without sacrificing performance. Experiments with LLMs ranging from 300M to 8B parameters show that FEEDER can reduce training data size by over 20% while maintaining performance and seamlessly integrating with various downstream demonstration selection strategies in ICL.
• Abstract（参考訳）: 大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 しかし、類似性や多様性のスコアに頼ってデモを選択する既存のICL手法では、クエリ毎に大規模なデータセットから繰り返し検索されるため、高い計算コストがかかる。 そこで本研究では,FEEDER (FEw yet Essential Demonstration prE-selectoR) を提案する。 このサブセットを構築するために、選択前の段階で「十分」と「必要」のメトリクスを導入し、代表例を効率的に識別するツリーベースアルゴリズムを設計する。 一度プリセレクトされると、この代表サブセットは、完全なトレーニングデータを効果的に置き換え、ICLで同等のパフォーマンスを維持しながら効率を向上させることができる。 さらに, 事前選択したサブセットは, 性能を犠牲にすることなく, トレーニング効率を向上させる2レベル最適化手法を導入することで, 微調整LLMの恩恵を受ける。 300Mから8BパラメータのLLMを用いた実験では、FEEDERはパフォーマンスを維持しながらトレーニングデータのサイズを20%以上削減し、ICLのさまざまなダウンストリームのデモ選択戦略とシームレスに統合できることが示された。

関連論文リスト

• Learning to Select In-Context Demonstration Preferred by Large Language Model [21.077656767563255]
  In-context Learning (ICL) では、大規模な言語モデルで推論中に新しいタスクに適応できる。 我々は、ILLのデモ選択を直接最適化するためにLLMフィードバックを利用する新しい生成的嗜好学習フレームワークGenICLを提案する。 11のタスクカテゴリにまたがる19のデータセットの実験では、GenICLは、最も効果的なデモを選択する際に、既存の方法よりも優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-05-26T13:26:56Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。