論文の概要: MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning

• arxiv url: http://arxiv.org/abs/2505.16225v1
• Date: Thu, 22 May 2025 04:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.043746
• Title: MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning
• Title（参考訳）: MAPLE:インテクスト学習のための多ショット適応擬似ラベル
• Authors: Zihan Chen, Song Wang, Zhen Tan, Jundong Li, Cong Shen,
• Abstract要約: In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
• 参考スコア（独自算出の注目度）: 53.02571749383208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) empowers Large Language Models (LLMs) to tackle diverse tasks by incorporating multiple input-output examples, known as demonstrations, into the input of LLMs. More recently, advancements in the expanded context windows of LLMs have led to many-shot ICL, which uses hundreds of demonstrations and outperforms few-shot ICL, which relies on fewer examples. However, this approach is often hindered by the high cost of obtaining large amounts of labeled data. To address this challenge, we propose Many-Shot Adaptive Pseudo-LabEling, namely MAPLE, a novel influence-based many-shot ICL framework that utilizes pseudo-labeled samples to compensate for the lack of label information. We first identify a subset of impactful unlabeled samples and perform pseudo-labeling on them by querying LLMs. These pseudo-labeled samples are then adaptively selected and tailored to each test query as input to improve the performance of many-shot ICL, without significant labeling costs. Extensive experiments on real-world datasets demonstrate the effectiveness of our framework, showcasing its ability to enhance LLM adaptability and performance with limited labeled data.
• Abstract（参考訳）: In-Context Learning (ICL) は、LLMの入力に複数のインプット・アウトプット・サンプルを組み込むことで、多種多様なタスクに対処する大規模言語モデル(LLM)を実現する。 最近では、LLMの拡張されたコンテキストウィンドウの進歩により、数百のデモを使用して、より少ないサンプルに依存した数ショットのICLよりもパフォーマンスが向上した。 しかし、この手法は大量のラベル付きデータを取得するコストが高いため、しばしば妨げられる。 この課題に対処するため、我々はMulti-Shot Adaptive Pseudo-LabEling(MAPLE)を提案する。 まず、インパクトのある未ラベルサンプルのサブセットを特定し、LLMを問合せして擬似ラベル化を行う。 これらの擬似ラベル付きサンプルは、大きなラベル付けコストを伴わずに、多ショットICLの性能を向上させるために、入力として各テストクエリに適応的に選択され、調整される。 実世界のデータセットに対する大規模な実験は,LLM適応性の向上とラベル付きデータによる性能向上を実証し,我々のフレームワークの有効性を示した。

関連論文リスト

• Visual RAG: Expanding MLLM visual knowledge without fine-tuning [5.341192792319891]
  本稿では、文脈から学習するMLLMの機能と検索機構を相乗的に組み合わせたVisual RAGを紹介する。 このようにして、得られたシステムは、トレーニングデータから抽出した知識に限らず、微調整なしで、迅速かつ容易に更新できる。 モデル画像分類性能を改善するための計算コストを大幅に削減し、トレーニングされていない新しい視覚領域やタスクにモデル知識を拡大する。
  論文  参考訳（メタデータ） (2025-01-18T17:43:05Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning [0.0]
  本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。 各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:11:46Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。