論文の概要: Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling
- arxiv url: http://arxiv.org/abs/2602.21728v1
- Date: Wed, 25 Feb 2026 09:35:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.778783
- Title: Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling
- Title（参考訳）: Explore-on-Graph:パス修正リワードモデリングによる知識グラフに基づく大規模言語モデルの自律的探索のインセンティブ
- Authors: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang,
- Abstract要約: Explore-on-Graph(EoG)は、Large Language Modelsが知識グラフのより多様な推論空間を自律的に探索することを可能にするフレームワークである。
EoGは最先端のパフォーマンスを実現し、オープンソースやクローズドソースのLLMよりも優れています。
- 参考スコア（独自算出の注目度）: 40.52120101666234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reasoning process of Large Language Models (LLMs) is often plagued by hallucinations and missing facts in question-answering tasks. A promising solution is to ground LLMs' answers in verifiable knowledge sources, such as Knowledge Graphs (KGs). Prevailing KG-enhanced methods typically constrained LLM reasoning either by enforcing rules during generation or by imitating paths from a fixed set of demonstrations. However, they naturally confined the reasoning patterns of LLMs within the scope of prior experience or fine-tuning data, limiting their generalizability to out-of-distribution graph reasoning problems. To tackle this problem, in this paper, we propose Explore-on-Graph (EoG), a novel framework that encourages LLMs to autonomously explore a more diverse reasoning space on KGs. To incentivize exploration and discovery of novel reasoning paths, we propose to introduce reinforcement learning during training, whose reward is the correctness of the reasoning paths' final answers. To enhance the efficiency and meaningfulness of the exploration, we propose to incorporate path information as additional reward signals to refine the exploration process and reduce futile efforts. Extensive experiments on five KGQA benchmark datasets demonstrate that, to the best of our knowledge, our method achieves state-of-the-art performance, outperforming not only open-source but also even closed-source LLMs.
- Abstract（参考訳）: LLM(Large Language Models)の推論プロセスは、質問応答タスクにおいて幻覚や欠落した事実に悩まされることが多い。
有望な解決策は、LLMの回答を、知識グラフ(KG)のような検証可能な知識ソースに埋め込むことである。
一般的なKG強化手法は、生成中に規則を強制するか、固定されたデモセットからの経路を模倣することによってLCM推論を制限した。
しかし、彼らはLLMの推論パターンを事前の経験や微調整データの範囲内で自然に制限し、その一般化性はアウト・オブ・ディストリビューショングラフ推論の問題に制限した。
この問題に対処するため,本稿では,LLMがKG上でより多様な推論空間を自律的に探索することを可能にする新しいフレームワークであるExplore-on-Graph(EoG)を提案する。
新たな推論経路の探索と発見の動機付けを目的として,学習中に強化学習を導入することを提案する。
探索の効率性と意義を高めるため,探索プロセスの洗練と無駄な作業の軽減のために,経路情報を付加的な報奨信号として組み込むことを提案する。
5つのKGQAベンチマークデータセットに対する大規模な実験により、私たちの知る限り、我々の手法は最先端のパフォーマンスを達成し、オープンソースだけでなく、クローズドソースのLCMよりも優れています。
関連論文リスト
- RJE: A Retrieval-Judgment-Exploration Framework for Efficient Knowledge Graph Question Answering with LLMs [18.947344953344995]
Retrieval-Judgment-Exploration (RJE)は、洗練された推論経路を検索し、その十分性を評価し、追加の証拠を条件付きで探索するフレームワークである。
RJE はエージェントベースの手法と比較して LLM 呼び出しとトークンの使用量を著しく削減し、大幅な効率改善をもたらす。
論文 参考訳（メタデータ） (2025-09-25T03:56:18Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳（メタデータ） (2025-09-20T02:38:00Z) - Reliable Reasoning Path: Distilling Effective Guidance for LLM Reasoning with Knowledge Graphs [14.60537408321632]
大規模言語モデル(LLM)は、背景知識の不足のため、知識集約的なタスクに苦しむことが多い。
知識グラフをマイニングするためのRCPフレームワークを提案する。
また、その意義に応じて推論経路を評価し、洗練する再考モジュールも導入する。
論文 参考訳（メタデータ） (2025-06-12T09:10:32Z) - R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。
本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。
提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文 参考訳（メタデータ） (2025-03-07T17:14:44Z) - Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning [55.6623318085391]
最近の大規模言語モデル(LLM)推論は、限られたドメイン知識、幻覚への感受性、制約された推論深さに悩まされている。
本稿では、ステップワイズ知識グラフ検索とステップワイズ推論の統合に関する最初の研究について述べる。
本稿では,プロセス指向の知識グラフ構築を中心としたフレームワークであるKG-RAR,階層的検索戦略,検索後処理と報酬モデルを提案する。
論文 参考訳（メタデータ） (2025-03-03T15:20:41Z) - KARPA: A Training-free Method of Adapting Knowledge Graph as References for Large Language Model's Reasoning Path Aggregation [2.698553758512034]
大規模言語モデル(LLM)は様々なタスクにまたがる例外的なパフォーマンスを示すが、幻覚や知識のタイムラインに影響されることが多い。
本稿では,LLMのグローバルな計画能力を活用したKG推論手法であるKARPA(Knowledge Graph Assisted Reasoning Path Aggregation)を提案する。
KARPAはKGQAタスクで最先端のパフォーマンスを実現し、高い効率と精度を提供する。
論文 参考訳（メタデータ） (2024-12-30T14:58:46Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
大規模言語モデル(LLM)は、しばしば誤ったあるいは幻覚的な応答を生成することで挑戦される。
本稿では,知識グラフから得られた検証可能な推論ステップに回答を固定することで,LLM応答の事実性を改善するための統合フレームワークFiDeLiSを提案する。
トレーニング不要のフレームワークである本手法は,性能の向上だけでなく,異なるベンチマークにおける現実性や解釈可能性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-05-22T17:56:53Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳（メタデータ） (2023-11-22T11:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。