論文の概要: HD-RAG: Retrieval-Augmented Generation for Hybrid Documents Containing Text and Hierarchical Tables
- arxiv url: http://arxiv.org/abs/2504.09554v1
- Date: Sun, 13 Apr 2025 13:02:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:48:40.660375
- Title: HD-RAG: Retrieval-Augmented Generation for Hybrid Documents Containing Text and Hierarchical Tables
- Title（参考訳）: HD-RAG:テキストと階層表を含むハイブリッド文書の検索拡張生成
- Authors: Chi Zhang, Qiyang Chen,
- Abstract要約: 本稿では,行と列のテーブル表現を組み込んだ新しいフレームワークであるHD-RAGを紹介する。
我々はDocRAGLibを用いて総合的な実験を行い、HD-RAGは検索精度とQA性能の両方において既存のベースラインを上回っていることを示す。
- 参考スコア（独自算出の注目度）: 2.915799083273604
- License:
- Abstract: With the rapid advancement of large language models (LLMs), Retrieval-Augmented Generation (RAG) effectively combines LLMs generative capabilities with external retrieval-based information. The Hybrid Document RAG task aims to integrate textual and hierarchical tabular data for more comprehensive retrieval and generation in complex scenarios. However, there is no existing dataset specifically designed for this task that includes both text and tabular data. Additionally, existing methods struggle to retrieve relevant tabular data and integrate it with text. Semantic similarity-based retrieval lacks accuracy, while table-specific methods fail to handle complex hierarchical structures effectively. Furthermore, the QA task requires complex reasoning and calculations, further complicating the challenge. In this paper, we propose a new large-scale dataset, DocRAGLib, specifically designed for the question answering (QA) task scenario under Hybrid Document RAG. To tackle these challenges, we introduce HD-RAG, a novel framework that incorporates a row-and-column level (RCL) table representation, employs a two-stage process combining ensemble and LLM-based retrieval, and integrates RECAP, which is designed for multi-step reasoning and complex calculations in Document-QA tasks. We conduct comprehensive experiments with DocRAGLib, showing that HD-RAG outperforms existing baselines in both retrieval accuracy and QA performance, demonstrating its effectiveness.
- Abstract（参考訳）: 大規模言語モデル (LLM) の急速な進歩により、検索-拡張生成 (RAG) はLLMの生成能力と外部検索に基づく情報とを効果的に組み合わせている。
ハイブリッドドキュメントRAGタスクは、複雑なシナリオにおけるより包括的な検索と生成のために、テキストおよび階層的な表データを統合することを目的としている。
しかし、このタスク用に特別に設計された既存のデータセットには、テキストデータと表データの両方が含まれている。
さらに、既存の手法では、関連する表データの取得とテキストの統合に苦労している。
意味的類似性に基づく検索は精度に欠けるが、テーブル固有の手法は複雑な階層構造を効果的に扱えない。
さらに、QAタスクは複雑な推論と計算を必要とし、さらに課題を複雑にします。
本稿では,Hybrid Document RAGに基づく質問応答(QA)タスクシナリオに特化して設計された,大規模データセットDocRAGLibを提案する。
これらの課題に対処するために、列列レベル(RCL)テーブル表現を取り入れた新しいフレームワークであるHD-RAGを導入し、アンサンブルとLLMベースの検索を組み合わせた2段階プロセスを採用し、文書QAタスクにおける多段階推論と複雑な計算のためのRECAPを統合した。
我々はDocRAGLibを用いて総合的な実験を行い、HD-RAGは検索精度とQA性能の両方において既存のベースラインより優れており、その有効性を示している。
関連論文リスト
- Generative Retrieval for Book search [106.67655212825025]
書籍検索のための効率的な生成検索フレームワークを提案する。
データ拡張とアウトライン指向の書籍エンコーディングの2つの主要コンポーネントがある。
プロプライエタリなBaiduデータセットの実験では、GBSが強力なベースラインを上回ることが示されている。
論文 参考訳（メタデータ） (2025-01-19T12:57:13Z) - KG-Retriever: Efficient Knowledge Indexing for Retrieval-Augmented Large Language Models [38.93603907879804]
KG-Retrieverと呼ばれる階層的な知識検索機能を備えた新しい知識グラフベースのRAGフレームワークを提案する。
グラフ構造の結合性は、ドキュメント内およびドキュメント間接続性を強化するために完全に活用されている。
近隣の文書からの粗粒度の協調情報と知識グラフからの簡潔な情報により、KG-Retrieverは5つの公開QAデータセットに対して顕著な改善を達成している。
論文 参考訳（メタデータ） (2024-12-07T05:49:14Z) - ConTReGen: Context-driven Tree-structured Retrieval for Open-domain Long-form Text Generation [26.4086456393314]
長い形式のテキスト生成には、幅と深さの両方で複雑なクエリに対処する一貫性のある包括的な応答が必要である。
既存の反復的な検索拡張生成アプローチは、複雑なクエリの各側面を深く掘り下げるのに苦労することが多い。
本稿では,コンテキスト駆動型木構造検索手法を用いた新しいフレームワークであるConTReGenを紹介する。
論文 参考訳（メタデータ） (2024-10-20T21:17:05Z) - DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。
重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。
文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-11T15:15:33Z) - Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる
既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。
本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
論文 参考訳（メタデータ） (2024-06-07T16:59:38Z) - TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。
TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。
既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。
現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
論文 参考訳（メタデータ） (2024-06-05T20:32:56Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z) - Beyond Extraction: Contextualising Tabular Data for Efficient
Summarisation by Language Models [0.0]
Retrieval-Augmented Generation アーキテクチャの従来の利用は、様々な文書から情報を取得するのに有効であることが証明されている。
本研究では,RAGに基づくシステムにおいて,複雑なテーブルクエリの精度を高めるための革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-01-04T16:16:14Z) - Decomposing Complex Queries for Tip-of-the-tongue Retrieval [72.07449449115167]
複雑なクエリは、コンテンツ要素(例えば、書籍の文字やイベント)、ドキュメントテキスト以外の情報を記述する。
この検索設定は舌の先端 (TOT) と呼ばれ、クエリと文書テキスト間の語彙的および意味的重複に依存するモデルでは特に困難である。
クエリを個別のヒントに分解し、サブクエリとしてルーティングし、特定の検索者にルーティングし、結果をアンサンブルすることで、このような複雑なクエリを扱うための、シンプルで効果的なフレームワークを導入します。
論文 参考訳（メタデータ） (2023-05-24T11:43:40Z) - Mixed-modality Representation Learning and Pre-training for Joint
Table-and-Text Retrieval in OpenQA [85.17249272519626]
最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。
検索中心の混合モード合成事前学習を行う。
OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
論文 参考訳（メタデータ） (2022-10-11T07:04:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。