論文の概要: Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2510.13909v1
• Date: Wed, 15 Oct 2025 02:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.533562
• Title: Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning
• Title（参考訳）: 知識推論言語モデル:帰納的知識グラフ推論のための知識と言語の統合
• Authors: Xingrui Zhuo, Jiapu Wang, Gongqing Wu, Zhongyuan Wang, Jichen Zhang, Shirui Pan, Xindong Wu,
• Abstract要約: 我々は,LLM知識とKGコンテキストの統一的な協調を実現する知識推論言語モデル(KRLM)を提案する。 25個の実世界のインダクティブKGRデータセットの大規模な実験結果は、提案したKRLMの顕著な優位性を示している。
• 参考スコア（独自算出の注目度）: 47.967495648005986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inductive Knowledge Graph Reasoning (KGR) aims to discover facts in open-domain KGs containing unknown entities and relations, which poses a challenge for KGR models in comprehending uncertain KG components. Existing studies have proposed Knowledge Graph Foundation Models (KGFMs) that learn structural invariances across KGs to handle this uncertainty. Recently, Large Language Models (LLMs) have demonstrated strong capabilities for open-domain knowledge reasoning. As a result, the latest research has focused on LLM-based KGFMs that integrate LLM knowledge with KG context for inductive KGR. However, the intrinsic knowledge of LLMs may be overshadowed by sparse KG context, leading to LLM knowledge distortion, which can cause irreversible damage to model reasoning. Moreover, existing LLM-based KGR methods still struggle to fully constrain generative hallucinations in LLMs, severely limiting the credibility of reasoning results. To address these limitations, we propose a Knowledge Reasoning Language Model (KRLM) that achieves unified coordination between LLM knowledge and KG context throughout the KGR process. Specifically, we design a Knowledge Reasoning Language (KRL) instruction format and a KRL tokenizer to align LLM knowledge with KG representations. Then, we propose a KRL attention layer that coordinates intrinsic LLM knowledge with additional KG context through a dynamic knowledge memory mechanism. Finally, a structure-aware next-entity predictor is proposed, which strictly constrains the reasoning results within a trustworthy knowledge domain. Extensive experimental results on 25 real-world inductive KGR datasets demonstrate the significant superiority of the proposed KRLM\footnote{Our source codes are available at https://anonymous.4open.science/r/KRLM-EA36 in both zero-shot reasoning and fine-tuning scenarios.
• Abstract（参考訳）: 帰納的知識グラフ推論(KGR)は、未知の実体と関係を含むオープンドメインKG内の事実を発見することを目的としており、不確実なKGコンポーネントの理解においてKGRモデルに挑戦する。 既存の研究では、知識グラフ基礎モデル (KGFMs) が提案されており、この不確実性を扱うために、KG間の構造的不変性を学習している。 近年,Large Language Models (LLMs) は,オープンドメインの知識推論に強力な能力を発揮している。 その結果、最近の研究は、LLM知識とKGRのKGコンテキストを統合するLLMベースのKGFMに焦点を当てている。 しかし、LLMの本質的な知識はスパースKGの文脈によって覆われ、LLMの知識の歪みを招き、モデル推論に不可逆的なダメージを与える。 さらに、既存のLLMベースのKGR法は、LLMにおける生成幻覚を完全に抑制することに苦慮し、推論結果の信頼性を著しく制限している。 これらの制約に対処するため、我々は、KGRプロセス全体を通してLLM知識とKGコンテキストの統一的な調整を実現する知識推論言語モデル(KRLM)を提案する。 具体的には、知識推論言語(KRL)命令形式とKRLトークンを設計し、LLM知識をKG表現と整合させる。 そこで本研究では,動的知識記憶機構を用いて,固有のLLM知識とKGコンテキストを協調するKRLアテンション層を提案する。 最後に、信頼に値する知識領域内の推論結果を厳格に制約する構造対応次エンタリティ予測器を提案する。 提案されたKRLM\footnote{Ourソースコードは、ゼロショット推論と微調整の両方のシナリオでhttps://anonymous.4open.science/r/KRLM-EA36で利用可能である。

関連論文リスト

• Beyond Textual Context: Structural Graph Encoding with Adaptive Space Alignment to alleviate the hallucination of LLMs [15.260879306368674]
  SSKG-LLMは、KGの構造情報を大規模言語モデルの推論プロセスに効率的に統合する革新的なモデルアーキテクチャである。 我々は、広範囲にわたる実験を行い、かつ、KGの構造情報を組み込むことによって、LLMの事実推論能力を高める方法について、詳細な分析を行う。
  論文  参考訳（メタデータ） (2025-09-26T12:14:01Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [92.71304585906624]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。