論文の概要: GraphRAG-Bench: Challenging Domain-Specific Reasoning for Evaluating Graph Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2506.02404v2
• Date: Wed, 11 Jun 2025 02:37:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.701209
• Title: GraphRAG-Bench: Challenging Domain-Specific Reasoning for Evaluating Graph Retrieval-Augmented Generation
• Title（参考訳）: GraphRAG-Bench: グラフ検索拡張生成評価のためのドメイン特化推論
• Authors: Yilin Xiao, Junnan Dong, Chuang Zhou, Su Dong, Qian-wen Zhang, Di Yin, Xing Sun, Xiao Huang,
• Abstract要約: Graph Retrieval Augmented Generation (GraphRAG) は,大規模言語モデル(LLM)の拡張の可能性に対する認識を高めている。 GraphRAGモデルの現在の評価は、主に従来の問合せデータセットに依存している。 GraphRAGモデルを厳格に評価するために設計された大規模ドメイン固有ベンチマークであるGraphRAG-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 26.654064783342545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Retrieval Augmented Generation (GraphRAG) has garnered increasing recognition for its potential to enhance large language models (LLMs) by structurally organizing domain-specific corpora and facilitating complex reasoning. However, current evaluations of GraphRAG models predominantly rely on traditional question-answering datasets. Their limited scope in questions and evaluation metrics fails to comprehensively assess the reasoning capacity improvements enabled by GraphRAG models. To address this gap, we introduce GraphRAG-Bench, a large-scale, domain-specific benchmark designed to rigorously evaluate GraphRAG models. Our benchmark offers three key superiorities: \((i)\) Challenging question design. Featuring college-level, domain-specific questions that demand multi-hop reasoning, the benchmark ensures that simple content retrieval is insufficient for problem-solving. For example, some questions require mathematical reasoning or programming. \((ii)\) Diverse task coverage. The dataset includes a broad spectrum of reasoning tasks, multiple-choice, true/false, multi-select, open-ended, and fill-in-the-blank. It spans 16 disciplines in twenty core textbooks. \((iii)\) Holistic evaluation framework. GraphRAG-Bench provides comprehensive assessment across the entire GraphRAG pipeline, including graph construction, knowledge retrieval, and answer generation. Beyond final-answer correctness, it evaluates the logical coherence of the reasoning process. By applying nine contemporary GraphRAG methods to GraphRAG-Bench, we demonstrate its utility in quantifying how graph-based structuring improves model reasoning capabilities. Our analysis reveals critical insights about graph architectures, retrieval efficacy, and reasoning capabilities, offering actionable guidance for the research community.
• Abstract（参考訳）: Graph Retrieval Augmented Generation (GraphRAG)は、構造的にドメイン固有のコーパスを編成し、複雑な推論を容易にすることで、大きな言語モデル(LLM)を強化する可能性の認識を高めている。 しかし、GraphRAGモデルの現在の評価は、主に従来の問合せデータセットに依存している。 質問や評価指標の制限範囲は、GraphRAGモデルによって実現される推論能力の改善を包括的に評価することができない。 このギャップに対処するために、我々はGraphRAGモデルを厳格に評価するために設計された大規模でドメイン固有のベンチマークであるGraphRAG-Benchを紹介した。 私たちのベンチマークでは、3つの重要な優位性を提供しています。 (i) 質問設計の複雑化。 大学レベルのドメイン固有の質問がマルチホップ推論を要求されているため、このベンチマークは、単純なコンテンツ検索が問題解決に不十分であることを保証します。 例えば、いくつかの質問は数学的推論やプログラミングを必要とする。 -() (ii)\) タスクの多角化。 データセットには、推論タスクの幅広い範囲、複数選択、真/偽、複数選択、オープンエンド、ブランクのフィリングが含まれる。 教科書には16の科目があり、20の科目がある。 -() (iii) 全体的評価の枠組み。 GraphRAG-Benchはグラフ構築、知識検索、回答生成を含む、GraphRAGパイプライン全体の包括的な評価を提供する。 最終回答の正しさを超えて、推論過程の論理的一貫性を評価する。 グラフRAG-Benchに9つの現代グラフRAG法を適用することで、グラフベースの構造化がモデル推論能力をどのように改善するかを定量的に示すことができる。 本分析は, グラフアーキテクチャ, 検索効率, 推論能力に関する重要な知見を明らかにし, 研究コミュニティに実用的なガイダンスを提供する。

関連論文リスト

• NodeRAG: Structuring Graph-based RAG with Heterogeneous Nodes [25.173078967881803]
  Retrieval-augmented Generation (RAG)は、大規模な言語モデルに対して、外部およびプライベートコーパスへのアクセスを許可する。 現在のグラフベースのRAGアプローチは、グラフ構造の設計をほとんど優先順位付けしない。 不適切な設計のグラフは、多様なグラフアルゴリズムのシームレスな統合を妨げるだけでなく、ワークフローの不整合をもたらす。 異種グラフ構造を導入したグラフ中心のフレームワークであるNodeRAGを提案する。
  論文  参考訳（メタデータ） (2025-04-15T18:24:00Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Retrieval-Augmented Generation with Graphs (GraphRAG) [84.29507404866257]
  Retrieval-augmented Generation (RAG) は、追加情報を取得することによって下流タスクの実行を向上させる強力な技術である。 グラフは、その固有の「エッジで接続されたノード」の性質により、巨大な異種情報と関係情報を符号化する。 従来のRAGとは異なり、多種多様な形式とドメイン固有の関係知識のようなグラフ構造化データのユニークさは、異なるドメインでGraphRAGを設計する際、ユニークで重要な課題を生じさせる。
  論文  参考訳（メタデータ） (2024-12-31T06:59:35Z)
• LEGO-GraphRAG: Modularizing Graph-based Retrieval-Augmented Generation for Design Space Exploration [17.514586423233872]
  LEGO-GraphRAGは,GraphRAGワークフローのきめ細かい分解を可能にするモジュール型フレームワークである。 本フレームワークは,大規模実世界のグラフと多様なクエリセット上でのグラフRAGの総合的研究を促進する。
  論文  参考訳（メタデータ） (2024-11-06T15:32:28Z)
• Graph Retrieval-Augmented Generation: A Survey [28.979898837538958]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の課題に再トレーニングを必要とせずに対処することに成功した。 本稿では,GraphRAGの方法論について概観する。 Graph-Based Indexing、Graph-Guided Retrieval、Graph-Enhanced Generationを含むGraphRAGワークフローを形式化する。
  論文  参考訳（メタデータ） (2024-08-15T12:20:24Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。