Fugu-MT 論文翻訳(概要): GARLIC: LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph for Long Document QA

論文の概要: GARLIC: LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph for Long Document QA

arxiv url: http://arxiv.org/abs/2410.04790v1
Date: Mon, 7 Oct 2024 07:02:09 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 01:58:01.008121
Title: GARLIC: LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph for Long Document QA
Title（参考訳）: GARLIC: 長期文書QAのための階層重みグラフを用いたLLM誘導動的プログレス制御
Authors: Xinyu Wang, Yanzheng Xiang, Lin Gui, Yulan He,
Abstract要約: 過去には、Retrieval-Augmented Generation (RAG)メソッドがテキストをチャンクに分割して、長いドキュメントを扱う言語モデルを実現していた。近年のツリーベースRAG法では,グローバルなコンテキストを保ちながら詳細な情報を取得することができる。階層重みグラフ(GARLIC)を用いた LLM-Guided Dynamic Progress Control と呼ばれる新しい検索手法を提案する。
参考スコア（独自算出の注目度）: 16.945257645760428
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the past, Retrieval-Augmented Generation (RAG) methods split text into chunks to enable language models to handle long documents. Recent tree-based RAG methods are able to retrieve detailed information while preserving global context. However, with the advent of more powerful LLMs, such as Llama 3.1, which offer better comprehension and support for longer inputs, we found that even recent tree-based RAG methods perform worse than directly feeding the entire document into Llama 3.1, although RAG methods still hold an advantage in reducing computational costs. In this paper, we propose a new retrieval method, called LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph (GARLIC), which outperforms previous state-of-the-art baselines, including Llama 3.1, while retaining the computational efficiency of RAG methods. Our method introduces several improvements: (1) Rather than using a tree structure, we construct a Hierarchical Weighted Directed Acyclic Graph with many-to-many summarization, where the graph edges are derived from attention mechanisms, and each node focuses on a single event or very few events. (2) We introduce a novel retrieval method that leverages the attention weights of LLMs rather than dense embedding similarity. Our method allows for searching the graph along multiple paths and can terminate at any depth. (3) We use the LLM to control the retrieval process, enabling it to dynamically adjust the amount and depth of information retrieved for different queries. Experimental results show that our method outperforms previous state-of-the-art baselines, including Llama 3.1, on two single-document and two multi-document QA datasets, while maintaining similar computational complexity to traditional RAG methods.
Abstract（参考訳）: 過去には、Retrieval-Augmented Generation (RAG)メソッドがテキストをチャンクに分割して、長いドキュメントを扱う言語モデルを実現していた。近年のツリーベースRAG法では,グローバルなコンテキストを保ちながら詳細な情報を取得することができる。しかし、Llama 3.1のようなより強力なLLMが出現し、より理解し、より長い入力をサポートするようになり、最近のツリーベースRAG手法でさえ、文書全体をLlama 3.1に直接供給するよりもパフォーマンスが悪くなっていることがわかったが、RAG法は計算コストの削減に依然として有利である。本稿では,Llama 3.1を含む従来の最先端のベースラインよりも高い性能を示すとともに,RAG手法の計算効率を保ちながら,LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph (GARLIC) と呼ばれる新たな検索手法を提案する。本手法では,(1)木構造を用いるのではなく,多対多の要約による階層的重み付き非巡回グラフを構築し,グラフエッジは注目機構から導出され,各ノードは単一のイベントやごく少数のイベントに注目する。 2) 密埋め込み類似性ではなく,LLMの注意重みを利用した新しい検索手法を提案する。提案手法では,複数の経路に沿ってグラフを探索し,任意の深さで終了することができる。 (3) LLM を用いて検索プロセスを制御し、異なるクエリに対して検索された情報量と深さを動的に調整する。実験の結果,従来のRAG法と類似した計算複雑性を維持しつつ,Llama 3.1を含む従来の技術ベースラインを2つの単一ドキュメントと2つのマルチドキュメントQAデータセットで上回る結果が得られた。

関連論文リスト

Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。 RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
論文参考訳（メタデータ） (2024-10-14T18:34:29Z)
VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
論文参考訳（メタデータ） (2024-10-14T15:04:18Z)
Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文参考訳（メタデータ） (2024-10-08T15:22:36Z)
PAGED: A Benchmark for Procedural Graphs Extraction from Documents [14.769780429159912]
高品質なデータセットと標準評価を備えた新しいベンチマークPAGEDを提案する。 5つの最先端のベースラインを調査し、手書きのルールと限られた利用可能なデータに依存するため、最適な手続きグラフをうまく抽出できないことを明らかにした。その結果,文章要素の同定におけるLLMの利点と論理構造構築におけるそのギャップが指摘された。
論文参考訳（メタデータ） (2024-08-07T08:43:18Z)
Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
論文参考訳（メタデータ） (2023-10-17T09:10:27Z)
Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文参考訳（メタデータ） (2023-05-03T14:45:34Z)
Towards Better Dynamic Graph Learning: New Architecture and Unified Library [29.625205125350313]
DyGFormerは、動的グラフ学習のためのTransformerベースのアーキテクチャである。 DyGLibは、標準のトレーニングパイプラインとコーディングインターフェースを備えた統一ライブラリである。
論文参考訳（メタデータ） (2023-03-23T05:27:32Z)
Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文参考訳（メタデータ） (2023-03-14T07:27:30Z)
DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文参考訳（メタデータ） (2022-10-28T11:18:10Z)
Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。