論文の概要: KG-TRACES: Enhancing Large Language Models with Knowledge Graph-constrained Trajectory Reasoning and Attribution Supervision

• arxiv url: http://arxiv.org/abs/2506.00783v1
• Date: Sun, 01 Jun 2025 02:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.586091
• Title: KG-TRACES: Enhancing Large Language Models with Knowledge Graph-constrained Trajectory Reasoning and Attribution Supervision
• Title（参考訳）: KG-TRACES:知識グラフ制約トラジェクトリ推論と属性スーパービジョンによる大規模言語モデルの強化
• Authors: Rong Wu, Pinlong Cai, Jianbiao Mei, Licheng Wen, Tao Hu, Xuemeng Yang, Daocheng Fu, Botian Shi,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げてきたが、複雑な推論問題におけるそれらの性能は、説明責任と信頼性の欠如によって妨げられている。 我々は,LLMの推論能力を高めるために,知識グラフ制約トラジェクトリ推論属性と連鎖説明スーパービジョン(KG-TRACES)を提案する。 KG-TRACES は,(1) 記号関係経路の予測,(2) 完全三重レベル推論経路の予測,(3) 帰属対応推論過程の推論経路の予測を共同で行う。
• 参考スコア（独自算出の注目度）: 8.025866693669622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have made remarkable strides in various natural language processing tasks, but their performance on complex reasoning problems remains hindered by a lack of explainability and trustworthiness. This issue, often manifesting as hallucinations or unattributable reasoning processes, limits their applicability in complex reasoning scenarios. To address this, we propose Knowledge Graph-constrained Trajectory Reasoning Attribution and Chain Explanation Supervision (KG-TRACES), a novel framework that enhances the reasoning ability of LLMs through explicit supervision over reasoning paths and processes. KG-TRACES jointly supervises the model to: (1) predict symbolic relation paths, (2) predict full triple-level reasoning paths, and (3) generate attribution-aware reasoning processes grounded in the reasoning paths. At inference phase, the model adapts to both KG-available and KG-unavailable scenarios, retrieving reasoning paths from a KG when possible or predicting plausible reasoning paths with only intrinsic knowledge when not. This design enables the model to reason in an explainable and source-attributable pattern. Through extensive experiments on complex reasoning tasks, we demonstrate that KG-TRACES significantly outperforms existing SOTA: it improves Hits@1 by 1.6% and F1 by 4.7% on WebQSP, and achieves improvements of 4.8% in Hits@1 and 2.1% in F1 on CWQ. Moreover, we show its transferability to specialized domains such as medicine. By visualizing the intermediate steps of reasoning processes, we further show that the explicit supervision introduced by KG-TRACES leads to more stable and goal-directed reasoning processes, aligning closely with correct answers. Code is available at https://github.com/Edaizi/KG-TRACES.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げてきたが、複雑な推論問題におけるそれらの性能は、説明責任と信頼性の欠如によって妨げられている。 この問題は、しばしば幻覚や帰属しない推論プロセスとして現れ、複雑な推論シナリオにおける適用性を制限する。 そこで我々は,LLMの推論能力を高める新しいフレームワークであるKG-TRACES(Knowledge Graph-Constrained Trajectory Reasoning Attribution and Chain Explanation Supervision)を提案する。 KG-TRACES は,(1) 記号関係経路の予測,(2) 完全三重レベル推論経路の予測,(3) 帰属対応推論過程の推論経路の予測を共同で行う。 推論フェーズでは、モデルはKGが利用できないシナリオとKGが利用できないシナリオの両方に適応し、可能であればKGから推論パスを取得するか、本質的な知識しか持たない妥当な推論パスを予測する。 この設計により、モデルは説明可能な、ソースに依存しないパターンで推論できる。 複雑な推論タスクに関する広範な実験を通じて、KG-TRACESは既存のSOTAよりも大幅に優れており、WebQSPではHits@1が1.6%、F1が4.7%向上し、CWQではHits@1が4.8%、F1が2.1%向上している。 さらに,医学などの専門分野への移行可能性を示す。 推論過程の中間段階を可視化することにより、KG-TRACESによって導入された明示的な監督により、より安定的でゴール指向の推論プロセスが、正しい回答と密接に一致していることを示す。 コードはhttps://github.com/Edaizi/KG-TRACESで公開されている。

関連論文リスト

• Reason-Align-Respond: Aligning LLM Reasoning with Knowledge Graphs for KGQA [25.658206998291917]
  本稿では、推論と知識グラフを統合するフレームワークであるReason-Align-Respond(RAR)を紹介する。 RARは知識グラフに整合した高品質で解釈可能な推論チェーンを生成する。 RARは強いゼロショットの一般化能力を示し、推論中に計算効率を維持する。
  論文  参考訳（メタデータ） (2025-05-27T10:04:53Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.190800043449336]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [92.71304585906624]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
  大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:24:44Z)
• FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
  大規模言語モデル(LLM)は、しばしば誤ったあるいは幻覚的な応答を生成することで挑戦される。 本稿では,知識グラフから得られた検証可能な推論ステップに回答を固定することで,LLM応答の事実性を改善するための統合フレームワークFiDeLiSを提案する。 トレーニング不要のフレームワークである本手法は,性能の向上だけでなく,異なるベンチマークにおける現実性や解釈可能性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-05-22T17:56:53Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。