論文の概要: Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations

• arxiv url: http://arxiv.org/abs/2406.13632v2
• Date: Sun, 23 Jun 2024 07:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:26:35.285780
• Title: Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations
• Title（参考訳）: ロングコンテキストでの作業は可能か? デモ生成のためのコンテキストのリサイクル
• Authors: Arie Cattan, Alon Jacovi, Alex Fabrikant, Jonathan Herzig, Roee Aharoni, Hannah Rashkin, Dror Marcus, Avinatan Hassidim, Yossi Matias, Idan Szpektor, Avi Caciularu,
• Abstract要約: In-Context Learning (ICL) の例は少ないが、長いコンテキストでLLMのパフォーマンスを向上させるための魅力的なソリューションである。 そこで本稿では,コンテキストのリサイクルにより,長時間のQAタスクの少数例を自動的に生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 44.24067814871803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advancements in Large Language Models (LLMs), their performance on tasks involving long contexts remains sub-optimal. In-Context Learning (ICL) with few-shot examples may be an appealing solution to enhance LLM performance in this scenario; However, naively adding ICL examples with long context introduces challenges, including substantial token overhead added for each few-shot example and context mismatch between the demonstrations and the target query. In this work, we propose to automatically generate few-shot examples for long context QA tasks by recycling contexts. Specifically, given a long input context (1-3k tokens) and a query, we generate additional query-output pairs from the given context as few-shot examples, while introducing the context only once. This ensures that the demonstrations are leveraging the same context as the target query while only adding a small number of tokens to the prompt. We further enhance each demonstration by instructing the model to explicitly identify the relevant paragraphs before the answer, which improves performance while providing fine-grained attribution to the answer source. We apply our method on multiple LLMs and obtain substantial improvements (+23\% on average across models) on various QA datasets with long context, especially when the answer lies within the middle of the context. Surprisingly, despite introducing only single-hop ICL examples, LLMs also successfully generalize to multi-hop long-context QA using our approach.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩にもかかわらず、長いコンテキストを含むタスクのパフォーマンスは依然として準最適である。 In-Context Learning (ICL) では,このシナリオで LLM のパフォーマンスを向上するための魅力的なソリューションになるかも知れない。しかしながら,長時間のコンテキストで ICL のサンプルを追加することには,デモとターゲットクエリ間のコンテキストミスマッチなど,相当量のトークンオーバーヘッドが伴うという課題が伴う。 そこで本研究では,コンテキストをリサイクルすることで,コンテキストの長いQAタスクの少数ショットを自動生成する手法を提案する。 具体的には、長い入力コンテキスト(1-3kトークン)とクエリを与えられたコンテキストから追加のクエリ・アウトプットペアを少数ショットの例として生成し、コンテキストを一度だけ導入する。 これにより、デモがターゲットクエリと同じコンテキストを活用すると同時に、プロンプトに少量のトークンを追加することが保証される。 さらに,回答前の段落を明示的に識別するようにモデルに指示することで,各デモンストレーションをさらに強化し,回答ソースへの微粒な属性を提供しながら,性能を向上させる。 提案手法を複数 LLM に適用し,特に回答がコンテキストの中央にある場合,長いコンテキストを持つ様々なQA データセットに対する実質的な改善(モデル全体の平均+23 %)を得る。 驚いたことに、シングルホップ ICL 例のみを導入したにもかかわらず、LLM は我々のアプローチを用いてマルチホップ長文 QA への一般化に成功した。

関連論文リスト

• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [96.1389740719691]
  大規模なラベル空間を持つ多くのデータセットでは、数百から数千のデモでパフォーマンスが向上し続けています。 長いコンテキストのICLは驚くほど効果的であるが、ほとんどの利益は同様の例に答えることから得られている。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• LibriSQA: A Novel Dataset and Framework for Spoken Question Answering with Large Language Models [21.95962189710859]
  本稿では,LibriSQAデータセット上でSpoken Question Answering(SQA)タスクを実行するための軽量なエンドツーエンドフレームワークを提案する。 ASRをSQAフォーマットに書き換えることで、ASRタスクの処理におけるフレームワークの機能をさらに裏付ける。 我々の経験的発見は、多モーダル情報の整合と解釈に対するLLMの適性を高め、ユニバーサル多モーダルLLMの開発への道を開いた。
  論文  参考訳（メタデータ） (2023-08-20T23:47:23Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering [9.158919909909146]
  本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。 3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2023-06-07T15:20:24Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。