論文の概要: Reliable Graph-RAG for Codebases: AST-Derived Graphs vs LLM-Extracted Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2601.08773v1
- Date: Tue, 13 Jan 2026 18:03:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.319466
- Title: Reliable Graph-RAG for Codebases: AST-Derived Graphs vs LLM-Extracted Knowledge Graphs
- Title(参考訳): コードベースに対する信頼性の高いグラフ-RAG:AST-Derived Graphs vs LLM-Extracted Knowledge Graphs
- Authors: Manideep Reddy Chinthareddy,
- Abstract要約: A)ベクトルのみのNo-Graph RAG、(B)LLM生成の知識グラフRAG(LLM-KB)、(C)決定論的AST由来の知識グラフRAG(DKB)の3つの検索パイプラインをベンチマークする。
リポジトリ毎に15のアーキテクチャとコードトレースクエリを使用して、インデックス作成時間、クエリレイテンシ、コーパスカバレッジ、コスト、回答の正しさを測定します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation for software engineering often relies on vector similarity search, which captures topical similarity but can fail on multi-hop architectural reasoning such as controller to service to repository chains, interface-driven wiring, and inheritance. This paper benchmarks three retrieval pipelines on Java codebases (Shopizer, with additional runs on ThingsBoard and OpenMRS Core): (A) vector-only No-Graph RAG, (B) an LLM-generated knowledge graph RAG (LLM-KB), and (C) a deterministic AST-derived knowledge graph RAG (DKB) built with Tree-sitter and bidirectional traversal. Using 15 architecture and code-tracing queries per repository, we measure indexing time, query latency, corpus coverage, cost, and answer correctness. DKB builds its graph in seconds, while LLM-KB requires much longer graph generation. LLM-KB also shows indexing incompleteness: on Shopizer, 377 files are skipped or missed, reducing embedded chunk coverage and graph size compared to DKB. End-to-end cost is modest for DKB relative to the vector-only baseline but much higher for LLM-KB, especially as repository scale increases. Query latency is similar for No-Graph and DKB, while LLM-KB is slower and more variable. On the Shopizer question suite, DKB achieves the highest correctness, LLM-KB is close behind, and the vector-only baseline performs worst on upstream architectural queries and has the highest hallucination risk. Overall, deterministic AST-derived graphs provide more reliable coverage and multi-hop grounding than LLM-extracted graphs at substantially lower indexing cost.
- Abstract(参考訳): Retrieval-Augmented Generation for Software Engineering(英語版)は、しばしばベクトル類似性検索(英語版)に頼っている。
本稿では,Javaコードベース上で3つの検索パイプラインをベンチマークする(Shopizer, with additional run on ThingsBoard and OpenMRS Core): (A)ベクトルのみのNo-Graph RAG, (B) LLM生成知識グラフRAG (LLM-KB), (C)ツリーシッターと双方向トラバースで構築された決定論的AST由来知識グラフRAG (DKB)。
リポジトリ毎に15のアーキテクチャとコードトレースクエリを使用して、インデックス作成時間、クエリレイテンシ、コーパスカバレッジ、コスト、回答の正しさを測定します。
DKBはグラフを数秒で構築するが、LLM-KBはグラフ生成にずっと長い時間を要する。
LLM-KBはまたインデックスの不完全性も示している: Shopizerでは、377のファイルがスキップまたは欠落し、組み込みチャンクのカバレッジとグラフサイズをDKBと比較する。
エンド・ツー・エンドのコストは、ベクトルのみのベースラインと比較してDKBは控えめだが、特にリポジトリの規模が大きくなるにつれて、LLM-KBの方がはるかに高い。
クエリレイテンシはNo-GraphやDKBと似ているが、LLM-KBは遅く、より可変である。
Shopizer の質問スイートでは、DKB が最も正確であり、LLM-KB は後方にあり、ベクトルのみのベースラインは上流のアーキテクチャクエリで最悪であり、幻覚リスクが最も高い。
総合的に、決定論的AST由来のグラフは、かなり低いインデックス化コストでLLM抽出グラフよりも信頼性の高いカバレッジとマルチホップグラウンドを提供する。
関連論文リスト
- Scaling Graph Chain-of-Thought Reasoning: A Multi-Agent Framework with Efficient LLM Serving [38.059017394879284]
Graph Chain-of-Thought (Graph-CoT)は、グラフ構造化知識に対してステップバイステップの推論を行う大きな言語モデル(LLM)を可能にする。
既存のパイプラインは、低い正確性、過剰なトークン使用、高いレイテンシ、低いスループットに悩まされている。
GLMはマルチエージェントグラフ-CoTシステムであり、最適化されたLLMサービスアーキテクチャで設計されている。
論文 参考訳(メタデータ) (2025-11-03T14:42:53Z) - Search-on-Graph: Iterative Informed Navigation for Large Language Model Reasoning on Knowledge Graphs [26.0585592684229]
大規模言語モデル(LLM)は、知識集約型マルチホップ質問では信頼性が保たれていない印象的な推論能力を示している。
本稿では,LLMの反復的なグラフナビゲーションを実現するための,シンプルかつ効果的なフレームワークである検索オングラフ(SoG)を提案する。
Wikidataベンチマーク(以前のベストメソッドよりも+16%改善)とFreebaseベンチマークの一貫性のある改善は特に顕著です。
論文 参考訳(メタデータ) (2025-10-09T21:20:16Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳(メタデータ) (2025-06-11T12:03:52Z) - HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases [57.51078142561683]
大規模言語モデル(LLM)は、ハードウェア設計タスクにおいてその可能性を実証している。
しかし、実際のリポジトリレベルのHDLプロジェクトでのパフォーマンスは、数千から数万のコード行で妨げられています。
グラフ検索拡張生成(Graph RAG)とLLMを統合する新しいフレームワークであるHDLxGraphを提案する。
論文 参考訳(メタデータ) (2025-05-21T16:14:10Z) - GraphRAFT: Retrieval Augmented Fine-Tuning for Knowledge Graphs on Graph Databases [0.0]
GraphRAFTは、LCMを微調整して、確実に正しいCypherクエリを生成する、検索と推論のためのフレームワークである。
本手法は,自然グラフDBに格納された知識グラフを用いて,棚から取り出すことができる最初の方法である。
論文 参考訳(メタデータ) (2025-04-07T20:16:22Z) - CypherBench: Towards Precise Retrieval over Full-scale Modern Knowledge Graphs in the LLM Era [4.369550829556578]
我々はCypherBenchを紹介した。CypherBenchは11の大規模マルチドメインプロパティグラフを持つ最初のベンチマークで、780万のエンティティと10,000以上の質問がある。
本稿では,Cypher を用いて LLM で効率的にクエリ可能な RDF グラフの上のプロパティグラフビューを提案する。
論文 参考訳(メタデータ) (2024-12-24T23:22:04Z) - Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。
その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。
本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文 参考訳(メタデータ) (2024-09-29T11:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。