論文の概要: WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
- arxiv url: http://arxiv.org/abs/2602.02053v2
- Date: Tue, 03 Feb 2026 06:46:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 13:28:03.735216
- Title: WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
- Title(参考訳): WildGraphBench: Wild-Source CorporaによるGraphRAGのベンチマーク
- Authors: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao,
- Abstract要約: グラフベースのRetrieval-Augmented Generation (GraphRAG)は、階層グラフとして外部知識を整理する。
GraphRAGの既存のベンチマークの多くは、外部知識として短い、キュレートされたパスに依存している。
WildGraphBenchは、GraphRAGのパフォーマンスを野生で評価するために設計されたベンチマークである。
- 参考スコア(独自算出の注目度): 34.720109050809285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.
- Abstract(参考訳): グラフベースの検索-拡張生成(GraphRAG)は、外部知識を階層グラフとして整理し、複数の文書に散在する証拠の効率的な検索と集約を可能にする。
しかし、GraphRAGの既存のベンチマークの多くは、長いコンテキストや大規模な異種文書を含む現実的な環境でシステムを評価するのに失敗し、外部知識として短い、キュレートされたパスに依存している。
このギャップを埋めるため、我々は、GraphRAGの性能を評価するために設計されたベンチマークであるWildGraphBenchを紹介した。
我々はウィキペディアのユニークな構造を利用して、結束的な物語が長く異質な外部参照文書で根拠付けられ、実際の単語シナリオを反映したベンチマークを構築する。
具体的には,12の上位トピックを対象とし,外部参照を検索コーパスとして,引用リンク文を基礎的真実として用いた結果,1100の質問が3段階の複雑さ – 単一ファクトQA,マルチファクトQA,セクションレベルの要約 – にまたがる。
複数のベースラインにまたがる実験により、現在のGraphRAGパイプラインは、証拠が適度な数の情報源から来ている場合、複数のファクトアグリゲーションに役立つことが明らかになったが、このアグリゲーションパラダイムは、詳細な詳細を犠牲にしてハイレベルなステートメントを過度に強調し、要約タスクのパフォーマンスが低下する可能性がある。
プロジェクトページ:https://github.com/BstWPY/WildGraphBench。
関連論文リスト
- Graph-Anchored Knowledge Indexing for Retrieval-Augmented Generation [53.42323544075114]
グラフアンコール型知識インデックス手法であるGraphAnchorを提案する。
4つのマルチホップ質問応答ベンチマークの実験では、GraphAnchorの有効性が示されている。
論文 参考訳(メタデータ) (2026-01-23T05:41:05Z) - Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval [22.33550491040999]
RAGは、大きな言語モデルを外部の証拠に基礎を置いているが、セマンティックに遠く離れた文書で答えをまとめなければならないと、いまだに混乱している。
私たちは、StatementGraphRAGとTopicGraphRAGという2つのプラグイン・アンド・プレイレトリバーを構築します。
提案手法は,検索リコールと正当性において平均23.1%の相対的改善を達成し,有意なチャンクベースRAGよりも優れていた。
論文 参考訳(メタデータ) (2025-06-09T17:58:35Z) - When to use Graphs in RAG: A Comprehensive Analysis for Graph Retrieval-Augmented Generation [31.930889441883732]
グラフ検索強化世代(GraphRAG)は、外部知識で大規模言語モデル(LLM)を拡張するための強力なパラダイムとして登場した。
最近の研究では、GraphRAGは多くの現実世界のタスクにおいてバニラRAGを過小評価している。
GraphRAGは本当に有効か、グラフ構造がRAGシステムに測定可能なメリットを提供するシナリオは存在するのか?
論文 参考訳(メタデータ) (2025-06-06T02:37:47Z) - E^2GraphRAG: Streamlining Graph-based RAG for High Efficiency and Effectiveness [15.829377965705746]
本稿では,グラフベースのRAGフレームワークであるE2GraphRAGを提案する。
E2GraphRAGはGraphRAGの最大10倍のインデックス化を実現し、LightRAGの100倍の高速化を実現している。
論文 参考訳(メタデータ) (2025-05-30T05:27:40Z) - Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。
Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。
本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文 参考訳(メタデータ) (2025-05-22T05:15:27Z) - Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。
革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。
属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。
階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
論文 参考訳(メタデータ) (2025-05-20T06:44:34Z) - ZOGRASCOPE: A New Benchmark for Semantic Parsing over Property Graphs [3.0748861313823]
プロパティグラフ(PG)は、複雑な構造化情報を表現する手段として採用されている。
業界での人気が高まっているにもかかわらず、PGはセマンティックパーシング研究において相対的に過小評価されている。
PGとCypherで書かれたクエリに特化して設計されたベンチマークであるZOGRASCOPEを紹介する。
論文 参考訳(メタデータ) (2025-03-07T09:33:30Z) - RAG vs. GraphRAG: A Systematic Evaluation and Key Insights [53.83444096699458]
我々は,テキストベースベンチマークを用いて,検索型拡張生成(RAG)とグラフRAGを体系的に評価する。
本結果は,RAGとGraphRAGの異なる課題と評価の観点から,それぞれ異なる強みを浮き彫りにしている。
論文 参考訳(メタデータ) (2025-02-17T02:36:30Z) - Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text
Documents via Semantic-Oriented Hierarchical Graphs [79.0426838808629]
視覚的にリッチなテーブルテキスト文書に答えるTAT-DQAを提案する。
具体的には、離散推論機能を強化した新しいDoc2SoarGraphフレームワークを提案する。
我々は,TAT-DQAデータセットに関する広範な実験を行い,提案したフレームワークは,テストセット上でのエクサクティマッチ(EM)とF1スコアでそれぞれ17.73%,F1スコアで16.91%の最高のベースラインモデルを上回る結果を得た。
論文 参考訳(メタデータ) (2023-05-03T07:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。