論文の概要: PECAN: LLM-Guided Dynamic Progress Control with Attention-Guided Hierarchical Weighted Graph for Long-Document QA

• arxiv url: http://arxiv.org/abs/2410.04790v2
• Date: Sun, 08 Jun 2025 14:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:46.803826
• Title: PECAN: LLM-Guided Dynamic Progress Control with Attention-Guided Hierarchical Weighted Graph for Long-Document QA
• Title（参考訳）: PECAN:長期文書QAのための注意誘導階層重みグラフを用いたLLM誘導動的プログレス制御
• Authors: Xinyu Wang, Yanzheng Xiang, Lin Gui, Yulan He,
• Abstract要約: 長期文書QAは、大規模テキストと長距離依存関係による課題を提示する。 LLM(Large Language Models)の最近の進歩により、ドキュメント全体を単一のパスで処理できるようになった。 LLM注目重みによってエッジを導出する階層グラフを構築する新しい検索手法を提案する。
• 参考スコア（独自算出の注目度）: 16.945257645760428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-document QA presents challenges with large-scale text and long-distance dependencies. Recent advances in Large Language Models (LLMs) enable entire documents to be processed in a single pass. However, their computational cost is significantly high. Retrieval-Augmented Generation (RAG) methods split text into smaller chunks, but they often yield inferior results and may lose global context. Recent approaches that integrate LLMs into RAG via iterative summarization either underutilize LLM capabilities or still incur high computational costs. In this paper, we combine the high accuracy of LLMs with the efficiency of RAG and propose LLM-Guided Dynamic Progress Control with Attention-Based Hierarchical Weighted Graph (PECAN). Our method introduces two key improvements: (1) LLM-Guided Dynamic Progress Control: We leverage LLMs to dynamically control the retrieval process, adjusting the amount of retrieved information based on different queries to achieve a better balance of effectiveness and efficiency. (2) Attention-Guided Retrieval: We propose a novel retrieval method that constructs a hierarchical graph where edges are derived by LLM attention weights. Experimental results demonstrate that PECAN achieves LLM-level performance while maintaining computational complexity comparable to that of RAG methods on two single-document and two multi-document QA datasets.
• Abstract（参考訳）: 長期文書QAは、大規模テキストと長距離依存関係による課題を提示する。 LLM(Large Language Models)の最近の進歩により、ドキュメント全体を単一のパスで処理できるようになった。 しかし、計算コストは非常に高い。 Retrieval-Augmented Generation (RAG)メソッドはテキストを小さなチャンクに分割するが、結果が劣ることが多く、グローバルなコンテキストを失うことがある。 LLMをRAGに統合する最近のアプローチは、反復的な要約によってLLMの能力を過小評価するか、まだ高い計算コストがかかる。 本稿では,LLMの高精度化とRAGの効率化を両立させ,LLM誘導動的進行制御と注意に基づく階層重み付きグラフ(PECAN)を提案する。 1) LLM-Guided Dynamic Progress Control: LLMを利用して検索プロセスを動的に制御し、異なるクエリに基づいて検索した情報の量を調整することにより、効率と効率のバランスを良くする。 2) 注意誘導検索: エッジがLLMの注意重みによって導出される階層グラフを構成する新しい検索手法を提案する。 PECANは,2つの単一文書と2つのマルチドキュメントQAデータセット上でのRAG法に匹敵する計算複雑性を維持しつつ,LLMレベルの性能を実現することを示した。

関連論文リスト

• Harnessing the Power of Reinforcement Learning for Language-Model-Based Information Retriever via Query-Document Co-Augmentation [35.70731674603417]
  LLM(Large Language Models)は、ユーザクエリとコーパスドキュメントの拡張に使用することができる。 ユーザクエリとコーパスドキュメントの両方を拡張できるLLMベースのレトリバーを提案する。 提案手法は,疎密な設定と密な設定の両方において,LLMに基づく検索性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-23T14:14:43Z)
• Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
  言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。 彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。 近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
  論文  参考訳（メタデータ） (2025-06-06T23:13:08Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• PathRAG: Pruning Graph-based Retrieval Augmented Generation with Relational Paths [42.01377074786958]
  Retrieval-augmented Generation (RAG)は、外部データベースから知識を取得することで、大規模言語モデル(LLM)の応答品質を改善する。 本稿では、インデックス化グラフから重要な関係経路を検索し、これらの経路をテキスト形式に変換してLLMを誘導するPathRAGを提案する。 PathRAGは、6つのデータセットと5つの評価次元で、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-02-18T11:18:55Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Multiple Abstraction Level Retrieve Augment Generation [4.516242893120263]
  大規模言語モデル(LLM)を利用した検索型拡張生成(RAG)モデルは、新しいデータや知識に適応するためのより高速でコスト効率の高いソリューションを提供する。 本稿では,多文レベル,段落レベル,セクションレベル,文書レベルを含む,複数抽象レベル(MAL)のチャンクを用いた新しいRAG手法を提案する。 従来の単一レベルRAGアプローチと比較して,Glyco関連論文では,AIによるQ/A回答の正当性の評価が25.739%向上した。
  論文  参考訳（メタデータ） (2025-01-28T13:49:39Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
  長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。 RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。 それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
  論文  参考訳（メタデータ） (2024-10-14T18:34:29Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Control Large Language Models via Divide and Conquer [94.48784966256463]
  本稿では,Lexically Constrained Generation(LCG)に着目し,大規模言語モデル(LLM)のプロンプトベース制御による制御可能生成について検討する。 我々は,レキシカル制約を満たすためのLLMの性能を,プロンプトベース制御により評価し,下流アプリケーションでの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-06T21:20:06Z)
• PAGED: A Benchmark for Procedural Graphs Extraction from Documents [14.769780429159912]
  高品質なデータセットと標準評価を備えた新しいベンチマークPAGEDを提案する。 5つの最先端のベースラインを調査し、手書きのルールと限られた利用可能なデータに依存するため、最適な手続きグラフをうまく抽出できないことを明らかにした。 その結果,文章要素の同定におけるLLMの利点と論理構造構築におけるそのギャップが指摘された。
  論文  参考訳（メタデータ） (2024-08-07T08:43:18Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• LinkGPT: Teaching Large Language Models To Predict Missing Links [23.57145845001286]
  大規模言語モデル(LLM)は、様々な言語やビジョンタスクにおいて有望な結果を示している。 近年、グラフベースのタスク、特にテキスト分散グラフ(TAG)にLLMを適用することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-06-07T04:54:36Z)
• Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
  本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。 ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-17T09:10:27Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)
• Towards Better Dynamic Graph Learning: New Architecture and Unified Library [29.625205125350313]
  DyGFormerは、動的グラフ学習のためのTransformerベースのアーキテクチャである。 DyGLibは、標準のトレーニングパイプラインとコーディングインターフェースを備えた統一ライブラリである。
  論文  参考訳（メタデータ） (2023-03-23T05:27:32Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。