Fugu-MT 論文翻訳(概要): Large Language Models are Demonstration Pre-Selectors for Themselves

論文の概要: Large Language Models are Demonstration Pre-Selectors for Themselves

arxiv url: http://arxiv.org/abs/2506.06033v1
Date: Fri, 06 Jun 2025 12:29:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-09 17:28:43.470186
Title: Large Language Models are Demonstration Pre-Selectors for Themselves
Title（参考訳）: 大規模言語モデルは、テーマのためのデモ前セレクタである
Authors: Jiarui Jin, Yuwei Wu, Haoxuan Li, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, Jun Wang, Mengyue Yang,
Abstract要約: 大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
参考スコア（独自算出の注目度）: 57.101804269100185
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In-context learning (ICL) with large language models (LLMs) delivers strong few-shot performance by choosing few-shot demonstrations from the entire training data. However, existing ICL methods, which rely on similarity or diversity scores to choose demonstrations, incur high computational costs due to repeatedly retrieval from large-scale datasets for each query. To this end, we propose FEEDER (FEw yet Essential Demonstration prE-selectoR), a novel pre-selection framework that identifies a representative subset of demonstrations containing the most representative examples in the training data, tailored to specific LLMs. To construct this subset, we introduce the "sufficiency" and "necessity" metrics in the pre-selection stage and design a tree-based algorithm to identify representative examples efficiently. Once pre-selected, this representative subset can effectively replace the full training data, improving efficiency while maintaining comparable performance in ICL. Additionally, our pre-selected subset also benefits fine-tuning LLMs, where we introduce a bi-level optimization method that enhances training efficiency without sacrificing performance. Experiments with LLMs ranging from 300M to 8B parameters show that FEEDER can reduce training data size by over 20% while maintaining performance and seamlessly integrating with various downstream demonstration selection strategies in ICL.
Abstract（参考訳）: 大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。しかし、類似性や多様性のスコアに頼ってデモを選択する既存のICL手法では、クエリ毎に大規模なデータセットから繰り返し検索されるため、高い計算コストがかかる。そこで本研究では,FEEDER (FEw yet Essential Demonstration prE-selectoR) を提案する。このサブセットを構築するために、選択前の段階で「十分」と「必要」のメトリクスを導入し、代表例を効率的に識別するツリーベースアルゴリズムを設計する。一度プリセレクトされると、この代表サブセットは、完全なトレーニングデータを効果的に置き換え、ICLで同等のパフォーマンスを維持しながら効率を向上させることができる。さらに, 事前選択したサブセットは, 性能を犠牲にすることなく, トレーニング効率を向上させる2レベル最適化手法を導入することで, 微調整LLMの恩恵を受ける。 300Mから8BパラメータのLLMを用いた実験では、FEEDERはパフォーマンスを維持しながらトレーニングデータのサイズを20%以上削減し、ICLのさまざまなダウンストリームのデモ選択戦略とシームレスに統合できることが示された。

関連論文リスト

Towards Compute-Optimal Many-Shot In-Context Learning [63.815463719071055]
マルチショットICLにおけるデモ選択のための2つの戦略を提案する。最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
論文参考訳（メタデータ） (2025-07-22T04:21:03Z)
Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
論文参考訳（メタデータ） (2025-06-16T05:37:49Z)
Learning to Select In-Context Demonstration Preferred by Large Language Model [21.077656767563255]
In-context Learning (ICL) では、大規模な言語モデルで推論中に新しいタスクに適応できる。我々は、ILLのデモ選択を直接最適化するためにLLMフィードバックを利用する新しい生成的嗜好学習フレームワークGenICLを提案する。 11のタスクカテゴリにまたがる19のデータセットの実験では、GenICLは、最も効果的なデモを選択する際に、既存の方法よりも優れたパフォーマンスを達成している。
論文参考訳（メタデータ） (2025-05-26T13:26:56Z)
Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [41.4789135538612]
本稿では,各サンプルの品質評価から,各サンプルのコントリビューション値の比較に焦点を移す,新しい選択型サンプル選択フレームワークを提案する。 LLM(Large Language Models)の高度な言語理解機能により,LLMを用いて選択過程における各オプションの価値を評価する。
論文参考訳（メタデータ） (2025-03-04T07:32:41Z)
PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [28.442470930703337]
PRISMは、効率的なマルチモーダルデータ選択のためのトレーニング不要のアプローチである。 Pearson相関解析を用いて、MLLMの固有視覚符号化特性の定量化を行う。ビジュアルインストラクションのチューニングとデータ選択に要する時間を従来の手法の30%に短縮する。
論文参考訳（メタデータ） (2025-02-17T18:43:41Z)
Efficient Pretraining Data Selection for Language Models via Multi-Actor Collaboration [39.16321257800402]
言語モデル(LM)の事前学習を高速化する多要素協調データ選択機構を提案する。各データ選択方法は、その基準に基づいてデータを独立に優先順位付けし、モデルの現在の状態を使用して優先順位付けルールを更新する。コンソールは、様々な段階における異なるアクターの影響を調整し、LM事前訓練プロセスを通して全てのアクターからの情報を動的に統合するように設計されている。
論文参考訳（メタデータ） (2024-10-10T16:45:28Z)
Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
論文参考訳（メタデータ） (2024-08-14T12:32:41Z)
ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-31T05:56:15Z)
How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文参考訳（メタデータ） (2024-02-15T02:27:57Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
論文参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。