論文の概要: Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2510.13909v1
• Date: Wed, 15 Oct 2025 02:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.533562
• Title: Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning
• Title（参考訳）: 知識推論言語モデル:帰納的知識グラフ推論のための知識と言語の統合
• Authors: Xingrui Zhuo, Jiapu Wang, Gongqing Wu, Zhongyuan Wang, Jichen Zhang, Shirui Pan, Xindong Wu,
• Abstract要約: 我々は,LLM知識とKGコンテキストの統一的な協調を実現する知識推論言語モデル(KRLM)を提案する。 25個の実世界のインダクティブKGRデータセットの大規模な実験結果は、提案したKRLMの顕著な優位性を示している。
• 参考スコア（独自算出の注目度）: 47.967495648005986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inductive Knowledge Graph Reasoning (KGR) aims to discover facts in open-domain KGs containing unknown entities and relations, which poses a challenge for KGR models in comprehending uncertain KG components. Existing studies have proposed Knowledge Graph Foundation Models (KGFMs) that learn structural invariances across KGs to handle this uncertainty. Recently, Large Language Models (LLMs) have demonstrated strong capabilities for open-domain knowledge reasoning. As a result, the latest research has focused on LLM-based KGFMs that integrate LLM knowledge with KG context for inductive KGR. However, the intrinsic knowledge of LLMs may be overshadowed by sparse KG context, leading to LLM knowledge distortion, which can cause irreversible damage to model reasoning. Moreover, existing LLM-based KGR methods still struggle to fully constrain generative hallucinations in LLMs, severely limiting the credibility of reasoning results. To address these limitations, we propose a Knowledge Reasoning Language Model (KRLM) that achieves unified coordination between LLM knowledge and KG context throughout the KGR process. Specifically, we design a Knowledge Reasoning Language (KRL) instruction format and a KRL tokenizer to align LLM knowledge with KG representations. Then, we propose a KRL attention layer that coordinates intrinsic LLM knowledge with additional KG context through a dynamic knowledge memory mechanism. Finally, a structure-aware next-entity predictor is proposed, which strictly constrains the reasoning results within a trustworthy knowledge domain. Extensive experimental results on 25 real-world inductive KGR datasets demonstrate the significant superiority of the proposed KRLM\footnote{Our source codes are available at https://anonymous.4open.science/r/KRLM-EA36 in both zero-shot reasoning and fine-tuning scenarios.
• Abstract（参考訳）: 帰納的知識グラフ推論(KGR)は、未知の実体と関係を含むオープンドメインKG内の事実を発見することを目的としており、不確実なKGコンポーネントの理解においてKGRモデルに挑戦する。 既存の研究では、知識グラフ基礎モデル (KGFMs) が提案されており、この不確実性を扱うために、KG間の構造的不変性を学習している。 近年,Large Language Models (LLMs) は,オープンドメインの知識推論に強力な能力を発揮している。 その結果、最近の研究は、LLM知識とKGRのKGコンテキストを統合するLLMベースのKGFMに焦点を当てている。 しかし、LLMの本質的な知識はスパースKGの文脈によって覆われ、LLMの知識の歪みを招き、モデル推論に不可逆的なダメージを与える。 さらに、既存のLLMベースのKGR法は、LLMにおける生成幻覚を完全に抑制することに苦慮し、推論結果の信頼性を著しく制限している。 これらの制約に対処するため、我々は、KGRプロセス全体を通してLLM知識とKGコンテキストの統一的な調整を実現する知識推論言語モデル(KRLM)を提案する。 具体的には、知識推論言語(KRL)命令形式とKRLトークンを設計し、LLM知識をKG表現と整合させる。 そこで本研究では,動的知識記憶機構を用いて,固有のLLM知識とKGコンテキストを協調するKRLアテンション層を提案する。 最後に、信頼に値する知識領域内の推論結果を厳格に制約する構造対応次エンタリティ予測器を提案する。 提案されたKRLM\footnote{Ourソースコードは、ゼロショット推論と微調整の両方のシナリオでhttps://anonymous.4open.science/r/KRLM-EA36で利用可能である。

関連論文リスト

• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [92.71304585906624]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。