論文の概要: KG-o1: Enhancing Multi-hop Question Answering in Large Language Models via Knowledge Graph Integration

• arxiv url: http://arxiv.org/abs/2508.15790v1
• Date: Tue, 12 Aug 2025 04:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-31 21:54:20.526085
• Title: KG-o1: Enhancing Multi-hop Question Answering in Large Language Models via Knowledge Graph Integration
• Title（参考訳）: KG-o1:知識グラフ統合による大規模言語モデルにおけるマルチホップ質問応答の強化
• Authors: Nan Wang, Yongqi Fan, yansha zhu, ZongYu Wang, Xuezhi Cao, Xinyan He, Haiyun Jiang, Tong Ruan, Jingping Liu,
• Abstract要約: KG-o1は、知識グラフを統合して、大規模言語モデルのマルチホップ推論能力を高める4段階のアプローチである。 簡単な2つのデータセットと複雑な2つのデータセットについて実験を行う。 その結果,KG-o1 モデルでは既存の LRM モデルと比較して,全タスクにおいて優れた性能を示した。
• 参考スコア（独自算出の注目度）: 29.320693000484273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) face challenges in knowledge-intensive reasoning tasks like classic multi-hop question and answering, which involves reasoning across multiple facts. This difficulty arises because the chain of thoughts (CoTs) generated by LLMs in such tasks often deviate from real or a priori reasoning paths. In contrast, knowledge graphs (KGs) explicitly represent the logical connections between facts through entities and relationships. This reflects a significant gap. Meanwhile, large reasoning models (LRMs), such as o1, have demonstrated that long-step reasoning significantly enhances the performance of LLMs. Building on these insights, we propose KG-o1, a four-stage approach that integrates KGs to enhance the multi-hop reasoning abilities of LLMs. We first filter out initial entities and generate complex subgraphs. Secondly, we construct logical paths for subgraphs and then use knowledge graphs to build a dataset with a complex and extended brainstorming process, which trains LLMs to imitate long-term reasoning. Finally, we employ rejection sampling to generate a self-improving corpus for direct preference optimization (DPO), further refining the LLMs reasoning abilities. We conducted experiments on two simple and two complex datasets. The results show that KG-o1 models exhibit superior performance across all tasks compared to existing LRMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、古典的なマルチホップ質問や回答のような知識集約的な推論タスクにおいて、複数の事実に対する推論を含む課題に直面します。 この困難は LLM が生成する思考の連鎖 (CoT) が実数や事前の推論経路から逸脱することがしばしばあるからである。 対照的に、知識グラフ(KG)は、実体と関係を通して事実の間の論理的関係を明示的に表している。 これは大きなギャップを反映している。 一方、o1のような大きな推論モデル(LRM)は、長いステップの推論がLLMの性能を大幅に向上させることを示した。 これらの知見に基づいて、我々はKGを統合する4段階のアプローチであるKG-o1を提案し、LLMのマルチホップ推論能力を高める。 まず、初期エンティティをフィルタリングし、複雑なサブグラフを生成する。 第二に、サブグラフの論理経路を構築し、その後知識グラフを用いて、長期的推論を模倣するためにLLMを訓練する複雑で拡張されたブレインストーミングプロセスでデータセットを構築する。 最後に、リジェクションサンプリングを用いて直接選好最適化(DPO)のための自己改善コーパスを生成し、LLMの推論能力をさらに改善する。 簡単な2つのデータセットと複雑な2つのデータセットについて実験を行った。 その結果,KG-o1 モデルでは既存の LRM モデルと比較して,全タスクにおいて優れた性能を示した。

関連論文リスト

• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。 しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。 この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。 本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
  論文  参考訳（メタデータ） (2025-01-14T05:18:20Z)
• Thinking with Knowledge Graphs: Enhancing LLM Reasoning Through Structured Data [0.9284740716447338]
  大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示した。 近年の研究では、知識グラフ(KG)を活用してLLM性能を向上させるという有望な成果が示されている。 我々は、KG構造と意味論をLLM表現に密に統合する様々な手法を開発した。
  論文  参考訳（メタデータ） (2024-12-14T02:51:47Z)
• Dual Reasoning: A GNN-LLM Collaborative Framework for Knowledge Graph Question Answering [38.31983923708175]
  我々は、知識グラフ(KGs)の明示的推論のために、グラフニューラルネットワーク(GNN)に基づく外部システムを統合する新しいフレームワークであるDual-Reasoningを提案する。 我々は,DualRが高効率と解釈性を維持しつつ,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-03T09:38:28Z)
• FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
  大規模言語モデル(LLM)は、しばしば誤ったあるいは幻覚的な応答を生成することで挑戦される。 本稿では,知識グラフから得られた検証可能な推論ステップに回答を固定することで,LLM応答の事実性を改善するための統合フレームワークFiDeLiSを提案する。 トレーニング不要のフレームワークである本手法は,性能の向上だけでなく,異なるベンチマークにおける現実性や解釈可能性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-05-22T17:56:53Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  カリキュラムベースの論理認識型チューニングフレームワークであるLACTを提案する。 具体的には、任意の一階論理クエリをバイナリツリー分解によって拡張する。 広く使われているデータセットに対する実験では、LATは高度な手法よりも大幅に改善(平均+5.5% MRRスコア)し、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• Complex Logical Reasoning over Knowledge Graphs using Large Language Models [13.594992599230277]
  知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。 現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。 本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
  論文  参考訳（メタデータ） (2023-05-02T02:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。