論文の概要: What Breaks Knowledge Graph based RAG? Empirical Insights into Reasoning under Incomplete Knowledge

• arxiv url: http://arxiv.org/abs/2508.08344v1
• Date: Mon, 11 Aug 2025 10:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.187668
• Title: What Breaks Knowledge Graph based RAG? Empirical Insights into Reasoning under Incomplete Knowledge
• Title（参考訳）: 知識グラフに基づくRAGとは何か? 経験的考察から不完全知識下での推論へ
• Authors: Dongzhuoran Zhou, Yuqicheng Zhu, Xiaxia Wang, Hongkuan Zhou, Yuan He, Jiaoyan Chen, Evgeny Kharlamov, Steffen Staab,
• Abstract要約: 知識グラフに基づく検索型生成(KG-RAG)は、大規模言語モデルの推論能力と知識グラフの構造的エビデンスを組み合わせるための、ますます研究が進んでいるアプローチである。 既存のベンチマークには、KGの既存のトリプルを使って直接答えられる質問が含まれていることが多い。 本研究では,KG-RAG手法を知識の不完全性の下で体系的に評価するための評価プロトコルとともに,ベンチマークを構築するための一般的な手法を提案する。
• 参考スコア（独自算出の注目度）: 24.7492528721447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge Graph-based Retrieval-Augmented Generation (KG-RAG) is an increasingly explored approach for combining the reasoning capabilities of large language models with the structured evidence of knowledge graphs. However, current evaluation practices fall short: existing benchmarks often include questions that can be directly answered using existing triples in KG, making it unclear whether models perform reasoning or simply retrieve answers directly. Moreover, inconsistent evaluation metrics and lenient answer matching criteria further obscure meaningful comparisons. In this work, we introduce a general method for constructing benchmarks, together with an evaluation protocol, to systematically assess KG-RAG methods under knowledge incompleteness. Our empirical results show that current KG-RAG methods have limited reasoning ability under missing knowledge, often rely on internal memorization, and exhibit varying degrees of generalization depending on their design.
• Abstract（参考訳）: 知識グラフに基づく検索型生成(KG-RAG)は、大規模言語モデルの推論能力と知識グラフの構造的エビデンスを組み合わせるための、ますます研究が進んでいるアプローチである。 既存のベンチマークには、KGの既存のトリプルを使用して直接回答できる質問が含まれており、モデルが推論を実行したのか、あるいは単に回答を直接取得したのかがはっきりしない。 さらに,不整合評価指標と,厳密な回答マッチング基準は,さらに曖昧な有意な比較を行った。 本研究では,KG-RAG手法を知識の不完全性の下で体系的に評価するための評価プロトコルとともに,ベンチマークを構築するための一般的な手法を提案する。 実験の結果,現在のKG-RAG法は知識不足下では推論能力が限られており,内部記憶に頼っていることが多く,設計による一般化の度合いが異なることがわかった。

関連論文リスト

• GR-Agent: Adaptive Graph Reasoning Agent under Incomplete Knowledge [26.26036702896838]
  ほとんどのベンチマークでは、直接支援三重グラフが存在する完全知識グラフ(KG)を仮定する。 これにより、評価は浅い検索に還元され、多くの事実が欠落しており、答えは既存の事実から推測されなければならない不完全なKGの現実を見落としている。 そこで本研究では,KGの不完全性に基づくベンチマーク構築手法を提案する。
  論文  参考訳（メタデータ） (2025-12-16T06:11:30Z)
• Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
  大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。 既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。 我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-25T06:48:52Z)
• KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs [66.35046942874737]
  KG-Infused RAGは、拡散活性化を実装するためにKGをRAGシステムに統合するフレームワークである。 KG-Infused RAGはKGの事実を検索し、クエリを拡張し、コーパスと構造化された事実を組み合わせることで生成を強化する。
  論文  参考訳（メタデータ） (2025-06-11T09:20:02Z)
• Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [56.27361644734853]
  知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。 我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
  論文  参考訳（メタデータ） (2025-05-29T14:44:52Z)
• Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness [25.74411097212245]
  KG-RAG(Knowledge Graph based Retrieval-Augmented Generation)は、質問回答(QA)のようなタスクにおける大規模言語モデル(LLM)推論を強化する手法である。 既存のベンチマークでは、KG-RAG性能に対するKGの不完全性の影響を適切に捉えていない。 我々は、KG-RAG法がKGの不完全性に敏感であることを示し、現実的な設定においてより堅牢なアプローチの必要性を強調した。
  論文  参考訳（メタデータ） (2025-04-07T15:08:03Z)
• MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [61.11836311160951]
  本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
  論文  参考訳（メタデータ） (2025-03-26T17:46:08Z)
• Context Graph [8.02985792541121]
  本稿では,大規模言語モデル(LLM)を活用して候補エンティティや関連するコンテキストを検索する,コンテキストグラフ推論のtextbfCGR$3$パラダイムを提案する。 実験の結果、CGR$3$はKG完了(KGC)およびKG質問応答(KGQA)タスクの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-17T02:59:19Z)
• History repeats Itself: A Baseline for Temporal Knowledge Graph Forecasting [10.396081172890025]
  時間的知識グラフ (TKG) 予測は、知識グラフの歴史に基づいた将来の時間ステップのための知識グラフのリンクを予測することを目的としている。 本稿では,繰り返し発生する事象を予測したTKG予測のための直感的なベースラインを設計することを提案する。
  論文  参考訳（メタデータ） (2024-04-25T16:39:32Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• MPLR: a novel model for multi-target learning of logical rules for knowledge graph reasoning [5.499688003232003]
  本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。 本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。 実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-12T09:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。