論文の概要: Plan Then Retrieve: Reinforcement Learning-Guided Complex Reasoning over Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2510.20691v2
• Date: Mon, 27 Oct 2025 07:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 13:14:10.63418
• Title: Plan Then Retrieve: Reinforcement Learning-Guided Complex Reasoning over Knowledge Graphs
• Title（参考訳）: 知識グラフを用いた強化学習誘導複合推論
• Authors: Yanlin Song, Ben Liu, Víctor Gutiérrez-Basulto, Zhiwei Hu, Qianqian Xie, Min Peng, Sophia Ananiadou, Jeff Z. Pan,
• Abstract要約: Graph-RFTは、"plan-KGsearch-and-Websearch-during-think"パラダイムを備えた、2段階強化KGQAフレームワークである。 これにより、LLMは、不完全な知識条件下で、KGやWebソース間で自律的な計画と適応的なスケジューリングを行うことができる。
• 参考スコア（独自算出の注目度）: 52.16166558205338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Question Answering aims to answer natural language questions by reasoning over structured knowledge graphs. While large language models have advanced KGQA through their strong reasoning capabilities, existing methods continue to struggle to fully exploit both the rich knowledge encoded in KGs and the reasoning capabilities of LLMs, particularly in complex scenarios. They often assume complete KG coverage and lack mechanisms to judge when external information is needed, and their reasoning remains locally myopic, failing to maintain coherent multi-step planning, leading to reasoning failures even when relevant knowledge exists. We propose Graph-RFT, a novel two-stage reinforcement fine-tuning KGQA framework with a 'plan-KGsearch-and-Websearch-during-think' paradigm, that enables LLMs to perform autonomous planning and adaptive retrieval scheduling across KG and web sources under incomplete knowledge conditions. Graph-RFT introduces a chain-of-thought fine-tuning method with a customized plan-retrieval dataset activates structured reasoning and resolves the GRPO cold-start problem. It then introduces a novel plan-retrieval guided reinforcement learning process integrates explicit planning and retrieval actions with a multi-reward design, enabling coverage-aware retrieval scheduling. It employs a Cartesian-inspired planning module to decompose complex questions into ordered subquestions, and logical expression to guide tool invocation for globally consistent multi-step reasoning. This reasoning retrieval process is optimized with a multi-reward combining outcome and retrieval specific signals, enabling the model to learn when and how to combine KG and web retrieval effectively.
• Abstract（参考訳）: Knowledge Graph Question Answeringは、構造化された知識グラフを推論することで自然言語の質問に答えることを目的としている。 大きな言語モデルは強力な推論能力を通じてKGQAを進化させてきたが、既存の手法は、KGに符号化された豊富な知識と、特に複雑なシナリオにおいてLLMの推論能力の両方を完全に活用することに苦慮している。 彼らはしばしば、完全なKGカバレッジを仮定し、外部情報が必要かどうかを判断するメカニズムが欠如していると仮定し、それらの推論は局所的なミオピックのままであり、一貫性のある多段階計画の維持に失敗し、関連する知識が存在する場合でも推論に失敗する。 我々は,2段階の強化KGQAフレームワークであるGraph-RFTを提案する。これは'plan-KGsearch-and-Websearch-during-think'パラダイムで,LLMが不完全な知識条件下で,KGおよびWebソース間で自律的な計画と適応的なスケジューリングを行うことを可能にする。 Graph-RFTは、構造化推論を活性化し、GRPOコールドスタート問題を解消する、カスタマイズされた計画検索データセットを備えたチェーン・オブ・ファインチューニング手法を導入している。 次に、明示的な計画と検索動作とマルチリワード設計を統合し、カバレッジを意識した検索スケジューリングを可能にする新しい計画検索強化学習プロセスを導入する。 複雑な質問を順序付けられたサブクエストに分解するために、Cartesianにインスパイアされた計画モジュールと、ツールの実行を一貫した多段階推論のガイドする論理式が使用されている。 この推論検索プロセスは、結果と検索特定信号を組み合わせたマルチリワードで最適化され、KGとWeb検索を効果的に組み合わせるタイミングと方法を学ぶことができる。

関連論文リスト

• Self-Reflective Planning with Knowledge Graphs: Enhancing LLM Reasoning Reliability for Question Answering [9.601307470705732]
  本稿では,知識グラフと大規模言語モデルを相乗化するフレームワークである自己回帰計画(SRP)を提案する。 計画プロセスにおいて、SRPはまず、ガイドプランニングとリフレクションのための参照を検索する。 推論経路を介してKGから知識を検索した後、検索結果を判断し、回答が正しく検索されるまで推論経路を編集して反復反射を行う。
  論文  参考訳（メタデータ） (2025-05-26T01:59:00Z)
• Neuro Symbolic Knowledge Reasoning for Procedural Video Question Answering [19.584250585159527]
  PKR-QA(Procedural Knowledge Reasoning Question Answering)は、構造化推論を必要とする手続き的タスクに対する質問応答のための新しいベンチマークである。 PKR-QAは手続き的知識グラフ(PKG)を用いて半自動で構築される。 解釈可能な推論を可能にするために,ニューラルモジュールを通して手続き的関係を学習する知識モジュール学習(KML)と呼ばれるニューロシンボリックアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-19T07:49:14Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Learning Federated Neural Graph Databases for Answering Complex Queries from Distributed Knowledge Graphs [53.03085605769093]
  我々は、マルチソースグラフデータに対するプライバシ保護推論を促進する先駆的な体系的フレームワークであるFederated Neural Graph DataBase(FedNGDB)を学習することを提案する。 FedNGDBは、フェデレートされた学習を活用して、複数のソースにわたるグラフ表現を協調的に学習し、エンティティ間の関係を強化し、グラフデータの全体的な品質を改善する。
  論文  参考訳（メタデータ） (2024-02-22T14:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。