論文の概要: GraphRAG on Consumer Hardware: Benchmarking Local LLMs for Healthcare EHR Schema Retrieval
- arxiv url: http://arxiv.org/abs/2605.20815v1
- Date: Wed, 20 May 2026 07:09:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.544545
- Title: GraphRAG on Consumer Hardware: Benchmarking Local LLMs for Healthcare EHR Schema Retrieval
- Title(参考訳): GraphRAG on Consumer Hardware:Benchmarking Local LLMs for Healthcare EHR Schema Retrieval
- Authors: Peter Fernandes, Ria Kanjilal,
- Abstract要約: グラフベースの検索拡張生成(GraphRAG)は、検索拡張生成を拡張し、複雑なコーパス上の構造化推論をサポートする。
ローカルにデプロイされたオープンソースの大言語モデル(LLM)を用いたEHRスキーマ検索のためのGraphRAGの体系的評価を行う。
Llama 3.1 が最もリッチな知識グラフ (1,172 個のエンティティ)、Qwen 2.5 は最高の回答品質 (3.3/5)、Phi-4-mini は構造化出力エラーのためにパイプラインを完了しない。
- 参考スコア(独自算出の注目度): 2.9215909234122672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-based Retrieval Augmented Generation (GraphRAG) extends retrieval-augmented generation to support structured reasoning over complex corpora, but its reliability under resource-constrained, privacy-sensitive deployments remains unclear. In healthcare, where Electronic Health Record (EHR) data is complex and strictly regulated, reliance on cloud-based large language models (LLMs) introduces challenges in cost, latency, and compliance. In this work, we present a systematic evaluation of GraphRAG for EHR schema retrieval using locally deployed open-source LLMs. We implement the Microsoft GraphRAG pipeline on real-world EHR schema documentation and benchmark four models, including Llama 3.1 (8B), Mistral (7B), Qwen 2.5 (7B), and Phi-4-mini (3.8B), each deployed via Ollama on a single consumer GPU (8 GB VRAM). We evaluate indexing efficiency, knowledge graph construction, query latency, answer quality, and hallucination under both global and local retrieval modes. Our results reveal substantial differences: Llama 3.1 produces the richest knowledge graph (1,172 entities), Qwen 2.5 achieves the best answer quality (3.3/5), Phi-4-mini fails to complete the pipeline due to structured-output errors, and Mistral exhibits degenerate repetition behavior. We further show that GraphRAG exhibits a practical capacity threshold, where models below approximately 7B parameters fail to reliably produce valid structured outputs and cannot complete the pipeline. In addition, indexing and answer quality are decoupled across models, and local retrieval consistently outperforms global summarization in both latency and factual grounding, with reduced hallucination. These findings demonstrate that GraphRAG is feasible on consumer hardware while highlighting the importance of model selection and retrieval design for robust deployment in regulated settings.
- Abstract(参考訳): グラフベースのRetrieval Augmented Generation(GraphRAG)は、検索拡張生成を拡張して、複雑なコーパス上の構造化推論をサポートする。
医療において、Electronic Health Record(EHR)データは複雑で厳格に規制されているが、クラウドベースの大規模言語モデル(LLM)に依存しているため、コスト、レイテンシ、コンプライアンスの課題が発生する。
本研究では,ローカルにデプロイされたオープンソースLLMを用いたEHRスキーマ検索のためのGraphRAGの体系的評価を行う。
Llama 3.1 (8B)、Mistral (7B)、Qwen 2.5 (7B)、Phi-4-mini (3.8B)の4つのモデルでMicrosoft GraphRAGパイプラインを実装しています。
我々は,グローバル検索モードとローカル検索モードの両方において,インデックス作成効率,知識グラフ構築,クエリ待ち時間,回答品質,幻覚を評価する。
Llama 3.1 が最も豊富な知識グラフ (1,172 個のエンティティ)、Qwen 2.5 は最高の回答品質 (3.3/5)、Phi-4-mini は構造化出力エラーによりパイプラインを完了せず、Mistral は縮退を繰り返している。
さらに、GraphRAGは、約7Bパラメータ以下のモデルでは、有効な構造化出力を確実に生成できず、パイプラインを完了できない、実用的なキャパシティしきい値を示す。
さらに、索引付けと回答の品質はモデル間で分離され、局所的な検索は、レイテンシーと事実的グラウンドの両方において、常にグローバルな要約よりも優れ、幻覚は減少する。
これらの結果は,GraphRAGがコンシューマハードウェア上で実現可能であることを示し,モデル選択と検索設計の重要性を強調した。
関連論文リスト
- LinearRAG: Linear Graph Retrieval Augmented Generation on Large-scale Corpora [17.929144506419064]
Retrieval-Augmented Generation (RAG) は大規模言語モデル(LLM)の幻覚を軽減するために広く用いられている。
既存のグラフベースのRAG法は、グラフ構築のための不安定でコストのかかる関係抽出に依存している。
信頼性の高いグラフ構築と正確な経路抽出を可能にする効率的なフレームワークであるLinearRAGを提案する。
論文 参考訳(メタデータ) (2025-10-11T08:43:45Z) - Efficient Knowledge Graph Construction and Retrieval from Unstructured Text for Large-Scale RAG Systems [0.06597195879147556]
企業環境にグラフベースの検索拡張生成(GraphRAG)をデプロイするためのスケーラブルで費用効率のよいフレームワークを提案する。
これらの結果は、現実の大規模エンタープライズアプリケーションにGraphRAGシステムをデプロイできる可能性を検証する。
論文 参考訳(メタデータ) (2025-07-04T00:05:55Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳(メタデータ) (2025-06-11T12:03:52Z) - Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。
Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。
本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文 参考訳(メタデータ) (2025-05-22T05:15:27Z) - RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs [58.10503898336799]
完全なRAGパイプラインをシームレスに統合するモジュラーフレームワークであるRAG-on-Graphs Library(RGL)を紹介した。
RGLは、さまざまなグラフフォーマットをサポートし、必須コンポーネントの最適化実装を統合することで、重要な課題に対処する。
評価の結果,RGLはプロトタイピングプロセスの高速化だけでなく,グラフベースRAGシステムの性能や適用性の向上も図っている。
論文 参考訳(メタデータ) (2025-03-25T03:21:48Z) - GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [83.72561905487447]
本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。
GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。
効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-02-03T07:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。