論文の概要: PECAN: LLM-Guided Dynamic Progress Control with Attention-Guided Hierarchical Weighted Graph for Long-Document QA

• arxiv url: http://arxiv.org/abs/2410.04790v2
• Date: Sun, 08 Jun 2025 14:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:46.803826
• Title: PECAN: LLM-Guided Dynamic Progress Control with Attention-Guided Hierarchical Weighted Graph for Long-Document QA
• Title（参考訳）: PECAN:長期文書QAのための注意誘導階層重みグラフを用いたLLM誘導動的プログレス制御
• Authors: Xinyu Wang, Yanzheng Xiang, Lin Gui, Yulan He,
• Abstract要約: 長期文書QAは、大規模テキストと長距離依存関係による課題を提示する。 LLM(Large Language Models)の最近の進歩により、ドキュメント全体を単一のパスで処理できるようになった。 LLM注目重みによってエッジを導出する階層グラフを構築する新しい検索手法を提案する。
• 参考スコア（独自算出の注目度）: 16.945257645760428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-document QA presents challenges with large-scale text and long-distance dependencies. Recent advances in Large Language Models (LLMs) enable entire documents to be processed in a single pass. However, their computational cost is significantly high. Retrieval-Augmented Generation (RAG) methods split text into smaller chunks, but they often yield inferior results and may lose global context. Recent approaches that integrate LLMs into RAG via iterative summarization either underutilize LLM capabilities or still incur high computational costs. In this paper, we combine the high accuracy of LLMs with the efficiency of RAG and propose LLM-Guided Dynamic Progress Control with Attention-Based Hierarchical Weighted Graph (PECAN). Our method introduces two key improvements: (1) LLM-Guided Dynamic Progress Control: We leverage LLMs to dynamically control the retrieval process, adjusting the amount of retrieved information based on different queries to achieve a better balance of effectiveness and efficiency. (2) Attention-Guided Retrieval: We propose a novel retrieval method that constructs a hierarchical graph where edges are derived by LLM attention weights. Experimental results demonstrate that PECAN achieves LLM-level performance while maintaining computational complexity comparable to that of RAG methods on two single-document and two multi-document QA datasets.
• Abstract（参考訳）: 長期文書QAは、大規模テキストと長距離依存関係による課題を提示する。 LLM(Large Language Models)の最近の進歩により、ドキュメント全体を単一のパスで処理できるようになった。 しかし、計算コストは非常に高い。 Retrieval-Augmented Generation (RAG)メソッドはテキストを小さなチャンクに分割するが、結果が劣ることが多く、グローバルなコンテキストを失うことがある。 LLMをRAGに統合する最近のアプローチは、反復的な要約によってLLMの能力を過小評価するか、まだ高い計算コストがかかる。 本稿では,LLMの高精度化とRAGの効率化を両立させ,LLM誘導動的進行制御と注意に基づく階層重み付きグラフ(PECAN)を提案する。 1) LLM-Guided Dynamic Progress Control: LLMを利用して検索プロセスを動的に制御し、異なるクエリに基づいて検索した情報の量を調整することにより、効率と効率のバランスを良くする。 2) 注意誘導検索: エッジがLLMの注意重みによって導出される階層グラフを構成する新しい検索手法を提案する。 PECANは,2つの単一文書と2つのマルチドキュメントQAデータセット上でのRAG法に匹敵する計算複雑性を維持しつつ,LLMレベルの性能を実現することを示した。

関連論文リスト

• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• PathRAG: Pruning Graph-based Retrieval Augmented Generation with Relational Paths [42.01377074786958]
  Retrieval-augmented Generation (RAG)は、外部データベースから知識を取得することで、大規模言語モデル(LLM)の応答品質を改善する。 本稿では、インデックス化グラフから重要な関係経路を検索し、これらの経路をテキスト形式に変換してLLMを誘導するPathRAGを提案する。 PathRAGは、6つのデータセットと5つの評価次元で、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-02-18T11:18:55Z)
• Multiple Abstraction Level Retrieve Augment Generation [4.516242893120263]
  大規模言語モデル(LLM)を利用した検索型拡張生成(RAG)モデルは、新しいデータや知識に適応するためのより高速でコスト効率の高いソリューションを提供する。 本稿では,多文レベル,段落レベル,セクションレベル,文書レベルを含む,複数抽象レベル(MAL)のチャンクを用いた新しいRAG手法を提案する。 従来の単一レベルRAGアプローチと比較して,Glyco関連論文では,AIによるQ/A回答の正当性の評価が25.739%向上した。
  論文  参考訳（メタデータ） (2025-01-28T13:49:39Z)
• Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
  長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。 RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。 それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
  論文  参考訳（メタデータ） (2024-10-14T18:34:29Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• PAGED: A Benchmark for Procedural Graphs Extraction from Documents [14.769780429159912]
  高品質なデータセットと標準評価を備えた新しいベンチマークPAGEDを提案する。 5つの最先端のベースラインを調査し、手書きのルールと限られた利用可能なデータに依存するため、最適な手続きグラフをうまく抽出できないことを明らかにした。 その結果,文章要素の同定におけるLLMの利点と論理構造構築におけるそのギャップが指摘された。
  論文  参考訳（メタデータ） (2024-08-07T08:43:18Z)
• Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
  本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。 ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-17T09:10:27Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Towards Better Dynamic Graph Learning: New Architecture and Unified Library [29.625205125350313]
  DyGFormerは、動的グラフ学習のためのTransformerベースのアーキテクチャである。 DyGLibは、標準のトレーニングパイプラインとコーディングインターフェースを備えた統一ライブラリである。
  論文  参考訳（メタデータ） (2023-03-23T05:27:32Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。