論文の概要: GraphRAG-R1: Graph Retrieval-Augmented Generation with Process-Constrained Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2507.23581v1
- Date: Thu, 31 Jul 2025 14:11:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:09.913754
- Title: GraphRAG-R1: Graph Retrieval-Augmented Generation with Process-Constrained Reinforcement Learning
- Title（参考訳）: GraphRAG-R1:プロセス制約強化学習によるグラフ検索拡張生成
- Authors: Chuanyue Yu, Kuo Zhao, Yuhan Li, Heng Chang, Mingjian Feng, Xiangzhe Jiang, Yufei Sun, Jia Li, Yuzhi Zhang, Jianxin Li, Ziwei Zhang,
- Abstract要約: プロセス制約付き結果ベース強化学習(RL)を用いたLLMの学習による適応型GraphRAGフレームワークGraphRAG-R1を提案する。
本手法は,複雑な問題を分解し,検索ツールを自律的に実行し,効果的な推論を行う。
我々のフレームワークは、様々な既存の検索手法と柔軟に統合でき、継続的に性能改善を提供することができる。
- 参考スコア（独自算出の注目度）: 33.57411612551111
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graph Retrieval-Augmented Generation (GraphRAG) has shown great effectiveness in enhancing the reasoning abilities of LLMs by leveraging graph structures for knowledge representation and modeling complex real-world relationships. However, existing GraphRAG methods still face significant bottlenecks when handling complex problems that require multi-hop reasoning, as their query and retrieval phases are largely based on pre-defined heuristics and do not fully utilize the reasoning potentials of LLMs. To address this problem, we propose GraphRAG-R1, an adaptive GraphRAG framework by training LLMs with process-constrained outcome-based reinforcement learning (RL) to enhance the multi-hop reasoning ability. Our method can decompose complex problems, autonomously invoke retrieval tools to acquire necessary information, and perform effective reasoning. Specifically, we utilize a modified version of Group Relative Policy Optimization (GRPO) that supports rollout-with-thinking capability. Next, we design two process-constrained reward functions. To handle the shallow retrieval problem, we design a Progressive Retrieval Attenuation (PRA) reward to encourage essential retrievals. Then, to handle the over-thinking problem, we design Cost-Aware F1 (CAF) reward to balance the model performance with computational costs. We further design a phase-dependent training strategy, containing three training stages corresponding to cold start and these two rewards. Lastly, our method adopts a hybrid graph-textual retrieval to improve the reasoning capacity. Extensive experimental results demonstrate that GraphRAG-R1 boosts LLM capabilities in solving complex reasoning problems compared to state-of-the-art GraphRAG methods on both in-domain and out-of-domain datasets. Furthermore, our framework can be flexibly integrated with various existing retrieval methods, consistently delivering performance improvements.
- Abstract（参考訳）: グラフ検索・拡張生成(GraphRAG)は,知識表現にグラフ構造を活用し,複雑な実世界の関係をモデル化することにより,LLMの推論能力を高める上で大きな効果を示した。
しかし、既存のGraphRAG法は、クエリと検索フェーズが主に事前に定義されたヒューリスティックスに基づいており、LLMの推論ポテンシャルを完全に活用していないため、マルチホップ推論を必要とする複雑な問題に対処する際の大きなボトルネックに直面している。
この問題に対処するために,プロセス制約付き結果ベース強化学習(RL)を用いてLLMを学習し,マルチホップ推論能力を向上させる適応型GraphRAGフレームワークGraphRAG-R1を提案する。
本手法は,複雑な問題を分解し,検索ツールを自律的に呼び出して必要な情報を取得し,効果的な推論を行う。
具体的には、GRPO(Group Relative Policy Optimization)の修正版を使用し、ロールアウト・アズ・ア・シンキング機能をサポートしています。
次に,プロセス制約付き報酬関数を2つ設計する。
浅層検索問題に対処するため,本質的な検索を促すために,PRA(Progressive Retrieval Attenuation)報酬を設計する。
そこで我々は, モデル性能と計算コストのバランスをとるために, コスト・アウェア F1 (CAF) の報酬を設計する。
さらに,寒冷期に対応する3つの訓練段階とこれら2つの報酬を含む位相依存型トレーニング戦略を設計する。
最後に,提案手法はハイブリッドなグラフテキスト検索を採用し,推論能力を向上させる。
大規模な実験結果から、GraphRAG-R1は、ドメイン内およびドメイン外両方のデータセットにおける最先端のGraphRAG手法と比較して、複雑な推論問題の解決においてLLM能力を向上することが示された。
さらに,我々のフレームワークは様々な既存の検索手法と柔軟に統合することができ,継続的に性能向上を実現している。
関連論文リスト
- GRAIL:Learning to Interact with Large Knowledge Graphs for Retrieval Augmented Reasoning [13.481673780508215]
GRAILは、検索強化推論のための大規模グラフと相互作用するように設計されたフレームワークである。
GRAILは知識グラフ問合せデータセットの平均精度を21.01%改善し、F1改善を22.43%改善する。
論文 参考訳（メタデータ） (2025-08-07T15:34:41Z) - Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning [20.05893083101089]
Graph-R1は、エンドツーエンド強化学習(RL)によるエージェントGraphRAGフレームワークである
軽量な知識ハイパーグラフ構築、マルチターンエージェント環境相互作用としてのモデル検索を導入している。
標準RAGデータセットの実験では、Graph-R1は、精度、検索効率、生成品質を推算する従来のGraphRAGおよびRL強化RAGメソッドよりも優れていた。
論文 参考訳（メタデータ） (2025-07-29T15:01:26Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳（メタデータ） (2025-06-11T12:03:52Z) - Graph Counselor: Adaptive Graph Exploration via Multi-Agent Synergy to Enhance LLM Reasoning [4.703280619961521]
GraphRAGは、知識関係を明示的にモデル化することで、外部知識統合機能を効果的に強化する。
既存の方法には2つの固有の制限がある。
マルチエージェント協調に基づくグラフRAG法であるGraph Counselorを提案する。
論文 参考訳（メタデータ） (2025-06-04T13:31:21Z) - G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning [58.73279333365234]
合成グラフ理論タスクにおける強化学習(RL)はグラフ推論能力を著しく拡張することができる。
RL on ErdosでG1はグラフ推論の大幅な改善を実現し、微調整された3BモデルはQwen2.5-72B-Instruct(24倍)よりも優れています。
我々の研究は、グラフ理論上のRLでLLMを微調整することで、強力なグラフ推論器を構築するための効率的でスケーラブルな経路を提供する。
論文 参考訳（メタデータ） (2025-05-24T04:33:41Z) - Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
次世代予測は大規模言語モデル(LLM)の訓練の基本原理である
本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。
私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
論文 参考訳（メタデータ） (2025-04-18T10:46:22Z) - RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs [58.10503898336799]
完全なRAGパイプラインをシームレスに統合するモジュラーフレームワークであるRAG-on-Graphs Library(RGL)を紹介した。
RGLは、さまざまなグラフフォーマットをサポートし、必須コンポーネントの最適化実装を統合することで、重要な課題に対処する。
評価の結果,RGLはプロトタイピングプロセスの高速化だけでなく,グラフベースRAGシステムの性能や適用性の向上も図っている。
論文 参考訳（メタデータ） (2025-03-25T03:21:48Z) - OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。
OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
論文 参考訳（メタデータ） (2025-03-21T17:52:43Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。
本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。
ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
論文 参考訳（メタデータ） (2024-12-20T04:05:09Z) - LEGO-GraphRAG: Modularizing Graph-based Retrieval-Augmented Generation for Design Space Exploration [17.514586423233872]
LEGO-GraphRAGは,GraphRAGワークフローのきめ細かい分解を可能にするモジュール型フレームワークである。
本フレームワークは,大規模実世界のグラフと多様なクエリセット上でのグラフRAGの総合的研究を促進する。
論文 参考訳（メタデータ） (2024-11-06T15:32:28Z) - Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。
本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。
提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
論文 参考訳（メタデータ） (2024-10-28T04:39:32Z) - Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。