論文の概要: Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2503.01642v1
• Date: Mon, 03 Mar 2025 15:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:36.464060
• Title: Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning
• Title（参考訳）: グラフ強化推論:LLM推論のためのステップバイステップ知識グラフ検索
• Authors: Wenjie Wu, Yongcheng Jing, Yingjie Wang, Wenbin Hu, Dacheng Tao,
• Abstract要約: 最近の大規模言語モデル(LLM)推論は、限られたドメイン知識、幻覚への感受性、制約された推論深さに悩まされている。 本稿では、ステップワイズ知識グラフ検索とステップワイズ推論の統合に関する最初の研究について述べる。 本稿では,プロセス指向の知識グラフ構築を中心としたフレームワークであるKG-RAR,階層的検索戦略,検索後処理と報酬モデルを提案する。
• 参考スコア（独自算出の注目度）: 55.6623318085391
• License:
• Abstract: Recent large language model (LLM) reasoning, despite its success, suffers from limited domain knowledge, susceptibility to hallucinations, and constrained reasoning depth, particularly in small-scale models deployed in resource-constrained environments. This paper presents the first investigation into integrating step-wise knowledge graph retrieval with step-wise reasoning to address these challenges, introducing a novel paradigm termed as graph-augmented reasoning. Our goal is to enable frozen, small-scale LLMs to retrieve and process relevant mathematical knowledge in a step-wise manner, enhancing their problem-solving abilities without additional training. To this end, we propose KG-RAR, a framework centered on process-oriented knowledge graph construction, a hierarchical retrieval strategy, and a universal post-retrieval processing and reward model (PRP-RM) that refines retrieved information and evaluates each reasoning step. Experiments on the Math500 and GSM8K benchmarks across six models demonstrate that KG-RAR yields encouraging results, achieving a 20.73\% relative improvement with Llama-3B on Math500.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)推論は、その成功にもかかわらず、限られたドメイン知識、幻覚への感受性、制約された推論深さに悩まされている。 本稿では,ステップワイズな知識グラフ検索とステップワイズな推論を統合してこれらの課題に対処するための最初の研究を行い,グラフ強化推論と呼ばれる新しいパラダイムを導入する。 我々のゴールは、凍結した小規模のLSMが、関連する数学的知識を段階的に検索し、処理し、追加の訓練なしに問題解決能力を向上させることである。 この目的のために,プロセス指向知識グラフ構築を中心としたフレームワークであるKG-RAR,階層的検索戦略,および検索した情報を洗練し,各推論ステップを評価する汎用検索後処理と報酬モデル(PRP-RM)を提案する。 6つのモデルにわたるMath500とGSM8Kベンチマークの実験では、KG-RARは、Math500上でのLlama-3Bとの相対的な改善を20.73 %達成して、結果を奨励することを示した。

関連論文リスト

• Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs [4.701165676405066]
  関連情報を検索するだけでなく、因果推論や説明可能性の提供も重要である。 本稿では,大きな知識グラフをフィルタして原因効果エッジを強調する新しいパイプラインを提案する。 医学的質問応答タスクの実験では、一貫した利得を示し、最大10%の絶対的な改善がある。
  論文  参考訳（メタデータ） (2025-01-24T19:31:06Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs [20.201820122052897]
  知識グラフ帰納的推論における重要な課題は、テキストと構造の両方面で不足した低リソースシナリオを扱うことだ。 我々は、Large Language Models (LLMs) を用いて、事前学習されたグラフニューラルネットワーク(GNNs)を強化するグラフ構造的プロンプトを生成する。 手法面では、任意のKGをまたいだ低リソース帰納的推論のために設計された、新しい事前学習・促進フレームワークProLINKを導入する。
  論文  参考訳（メタデータ） (2024-02-19T03:21:19Z)
• An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge Graph-Integrated Collaboration [7.3636034708923255]
  本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。 このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
  論文  参考訳（メタデータ） (2024-02-07T15:56:17Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。