論文の概要: Can't Remember Details in Long Documents? You Need Some R&R

• arxiv url: http://arxiv.org/abs/2403.05004v1
• Date: Fri, 8 Mar 2024 03:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 21:16:41.364147
• Title: Can't Remember Details in Long Documents? You Need Some R&R
• Title（参考訳）: 長い文書で詳細を思い出せないか? R&Rが必要。
• Authors: Devanshu Agrawal, Shang Gao, Martin Gajek
• Abstract要約: 2つの新しいプロンプトベースのメソッドを組み合わせた$textitR&R$を紹介します。 リプロンプトでは、コンテクスト文書を通して定期的にプロンプト命令を繰り返す。 ICRでは、LSMに直接答えるように指示するのではなく、最上位の$k$パス番号を検索するように指示する。
• 参考スコア（独自算出の注目度）: 4.465645631325957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context large language models (LLMs) hold promise for tasks such as question-answering (QA) over long documents, but they tend to miss important information in the middle of context documents (arXiv:2307.03172v3). Here, we introduce $\textit{R&R}$ -- a combination of two novel prompt-based methods called $\textit{reprompting}$ and $\textit{in-context retrieval}$ (ICR) -- to alleviate this effect in document-based QA. In reprompting, we repeat the prompt instructions periodically throughout the context document to remind the LLM of its original task. In ICR, rather than instructing the LLM to answer the question directly, we instruct it to retrieve the top $k$ passage numbers most relevant to the given question, which are then used as an abbreviated context in a second QA prompt. We test R&R with GPT-4 Turbo and Claude-2.1 on documents up to 80k tokens in length and observe a 16-point boost in QA accuracy on average. Our further analysis suggests that R&R improves performance on long document-based QA because it reduces the distance between relevant context and the instructions. Finally, we show that compared to short-context chunkwise methods, R&R enables the use of larger chunks that cost fewer LLM calls and output tokens, while minimizing the drop in accuracy.
• Abstract（参考訳）: 長文大言語モデル(LLM)は、長い文書に対する質問回答(QA)のようなタスクを約束するが、コンテキスト文書(arXiv:2307.03172v3)の途中で重要な情報を見逃す傾向がある。 ここでは、$\textit{R&R}$($\textit{reprompting}$と$\textit{in-context search}$(ICR)という2つの新しいプロンプトベースのメソッドを組み合わせて、この効果をドキュメントベースのQAで緩和する。 再入力時に、プロンプト命令をコンテキスト文書全体に定期的に繰り返し、元のタスクのllmを思い出させる。 ICRでは、LLMに質問に直接答えるよう指示するのではなく、与えられた質問に最も関係のある最上位の$k$パス番号を検索するように指示し、第2のQAプロンプトで短縮コンテキストとして使用される。 GPT-4 Turbo と Claude-2.1 で R&R を最大 80k のトークンでテストし,QA の精度を平均 16 ポイント向上させた。 さらに分析した結果,R&Rは関連するコンテキストと命令間の距離を小さくするため,長い文書ベースのQAの性能を向上させることが示唆された。 最後に、短文チャンクワイズ手法と比較して、R&Rは、精度の低下を最小限に抑えつつ、LCM呼び出しや出力トークンを少なくする大きなチャンクの使用を可能にすることを示す。

関連論文リスト

• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• HERA: Improving Long Document Summarization using Large Language Models with Context Packaging and Reordering [6.876612430571396]
  HERAと呼ばれる新しい要約生成フレームワークを提案する。 まず、その意味構造によって長い文書をセグメンテーションし、同じ事象に関するテキストセグメントを検索し、最後にそれらを並べ替えて入力コンテキストを形成する。 実験の結果,HERAはROUGE,BERTScore,忠実度測定において基礎モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-01T14:55:06Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
  大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。 我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:25:10Z)
• DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
  RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。 重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。 文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T15:15:33Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  NovelQAは拡張テキストによる大規模言語モデルの能力をテストするために設計されたベンチマークである。 本稿では,ノベルQAの設計と構築について述べる。 NovelQAにおけるLong-context LLMの評価により,モデルの性能に関する重要な知見が得られた。
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• Drilling Down into the Discourse Structure with LLMs for Long Document Question Answering [5.022057415488129]
  本稿では,文書に共通する談話構造を利用した一組の手法を提案する。 複雑なマルチホップ質問応答において,我々のアプローチをテキスト自己認識推論エージェントと組み合わせて,最高のゼロショット性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2023-11-22T18:22:56Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。