論文の概要: Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations

• arxiv url: http://arxiv.org/abs/2406.13632v3
• Date: Fri, 18 Oct 2024 09:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 18:13:57.784681
• Title: Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations
• Title（参考訳）: ロングコンテキストでの作業は可能か? デモ生成のためのコンテキストのリサイクル
• Authors: Arie Cattan, Alon Jacovi, Alex Fabrikant, Jonathan Herzig, Roee Aharoni, Hannah Rashkin, Dror Marcus, Avinatan Hassidim, Yossi Matias, Idan Szpektor, Avi Caciularu,
• Abstract要約: In-Context Learning (ICL) の例は少ないが、長いコンテキストでLLMのパフォーマンスを向上させるための魅力的なソリューションである。 そこで本稿では,コンテキストのリサイクルにより,長時間のQAタスクの少数例を自動的に生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 44.24067814871803
• License:
• Abstract: Despite recent advancements in Large Language Models (LLMs), their performance on tasks involving long contexts remains sub-optimal. In-Context Learning (ICL) with few-shot examples may be an appealing solution to enhance LLM performance in this scenario; However, na\"ively adding ICL examples with long context introduces challenges, including substantial token overhead added for each few-shot example and context mismatch between the demonstrations and the target query. In this work, we propose to automatically generate few-shot examples for long context QA tasks by recycling contexts. Specifically, given a long input context (1-3k tokens) and a query, we generate additional query-output pairs from the given context as few-shot examples, while introducing the context only once. This ensures that the demonstrations are leveraging the same context as the target query while only adding a small number of tokens to the prompt. We further enhance each demonstration by instructing the model to explicitly identify the relevant paragraphs before the answer, which improves performance while providing fine-grained attribution to the answer source. We apply our method on multiple LLMs and obtain substantial improvements (+16 absolute points on average across models) on various QA datasets with long context, especially when the answer lies within the middle of the context. Surprisingly, despite introducing only single-hop ICL examples, LLMs also successfully generalize to multi-hop long-context QA using our approach.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩にもかかわらず、長いコンテキストを含むタスクのパフォーマンスは依然として準最適である。 このシナリオでLLMのパフォーマンスを向上させるための魅力的なソリューションとして,ICL(In-Context Learning)があるかも知れません。 そこで本研究では,コンテキストをリサイクルすることで,コンテキストの長いQAタスクの少数ショットを自動生成する手法を提案する。 具体的には、長い入力コンテキスト(1-3kトークン)とクエリを与えられたコンテキストから追加のクエリ・アウトプットペアを少数ショットの例として生成し、コンテキストを一度だけ導入する。 これにより、デモがターゲットクエリと同じコンテキストを活用すると同時に、プロンプトに少量のトークンを追加することが保証される。 さらに,回答前の段落を明示的に識別するようにモデルに指示することで,各デモンストレーションをさらに強化し,回答ソースへの微粒な属性を提供しながら,性能を向上させる。 提案手法を複数 LLM に適用し,特に応答がコンテキストの中央にある場合,様々なQA データセットに対する精度の高い改善(モデル全体の平均点+16絶対点)を得る。 驚いたことに、シングルホップ ICL 例のみを導入したにもかかわらず、LLM は我々のアプローチを用いてマルチホップ長文 QA への一般化に成功した。

関連論文リスト

• Retrieval or Global Context Understanding? On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  マルチショットインコンテキスト学習(ICL)による長文言語モデルの評価について検討する。 ICLタスクが必要とするスキルを特定し、それらに対するモデルの長期コンテキスト能力を調べる。 我々は、LCLMの検索機能とグローバルコンテキスト理解機能を別々に特徴付けるために、新しいマルチショットICLベンチマークMANYICLBENCHを導入する。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• RARe: Retrieval Augmented Retrieval with In-Context Examples [40.963703726988946]
  本稿では,検索者がコンテキスト内例を利用できるためのシンプルなアプローチを提案する。 RAREは、クエリがターゲットクエリとセマンティックに類似しているコンテキスト内の例で事前訓練されたモデルを微調整する。 RAReは、コンテキスト内例のないクエリを用いたモデルと比較して、ドメイン外一般化がより強力であることがわかった。
  論文  参考訳（メタデータ） (2024-10-26T05:46:20Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [96.1389740719691]
  大規模なラベル空間を持つ多くのデータセットでは、数百から数千のデモでパフォーマンスが向上し続けています。 長いコンテキストのICLは驚くほど効果的であるが、ほとんどの利益は同様の例に答えることから得られている。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering [9.158919909909146]
  本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。 3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2023-06-07T15:20:24Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。