Fugu-MT 論文翻訳(概要): Improving LLMs' Generalized Reasoning Abilities by Graph Problems

論文の概要: Improving LLMs' Generalized Reasoning Abilities by Graph Problems

arxiv url: http://arxiv.org/abs/2507.17168v1
Date: Wed, 23 Jul 2025 03:19:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-24 22:33:14.843713
Title: Improving LLMs' Generalized Reasoning Abilities by Graph Problems
Title（参考訳）: グラフ問題によるLLMの一般推論能力の向上
Authors: Qifan Zhang, Nuo Chen, Zehua Li, Miao Peng, Jing Tang, Jia Li,
Abstract要約: グラフ問題推論(GPR)タスクは、洗練された論理的推論とリレーショナル推論を必要とする。 GPRデータを用いたCPT用に設計された最初の大規模コーパスであるGraphPileを紹介する。人気のあるベースモデルであるLlama 3と3.1とGemma 2でGraphMindをトレーニングし、数学的推論において最大4.9%の精度を実現した。
参考スコア（独自算出の注目度）: 31.07779603207159
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have made remarkable strides in reasoning tasks, yet their performance often falters on novel and complex problems. Domain-specific continued pretraining (CPT) methods, such as those tailored for mathematical reasoning, have shown promise but lack transferability to broader reasoning tasks. In this work, we pioneer the use of Graph Problem Reasoning (GPR) to enhance the general reasoning capabilities of LLMs. GPR tasks, spanning pathfinding, network analysis, numerical computation, and topological reasoning, require sophisticated logical and relational reasoning, making them ideal for teaching diverse reasoning patterns. To achieve this, we introduce GraphPile, the first large-scale corpus specifically designed for CPT using GPR data. Spanning 10.9 billion tokens across 23 graph tasks, the dataset includes chain-of-thought, program-of-thought, trace of execution, and real-world graph data. Using GraphPile, we train GraphMind on popular base models Llama 3 and 3.1, as well as Gemma 2, achieving up to 4.9 percent higher accuracy in mathematical reasoning and up to 21.2 percent improvement in non-mathematical reasoning tasks such as logical and commonsense reasoning. By being the first to harness GPR for enhancing reasoning patterns and introducing the first dataset of its kind, our work bridges the gap between domain-specific pretraining and universal reasoning capabilities, advancing the adaptability and robustness of LLMs.
Abstract（参考訳）: 大きな言語モデル(LLM)は、推論タスクにおいて顕著な進歩を遂げていますが、そのパフォーマンスはしばしば、新しく複雑な問題に悩まされます。数学的推論に適したドメイン固有継続事前学習(CPT)手法は、将来性を示すが、より広範な推論タスクへの伝達性は欠如している。本研究では,LLMの一般的な推論能力を高めるため,グラフ問題推論(GPR)を開拓した。 GPRタスク、パスフィンディング、ネットワーク解析、数値計算、トポロジカル推論は洗練された論理的推論とリレーショナル推論を必要とし、多様な推論パターンを教えるのに最適である。これを実現するために,GPRデータを用いたCPT用に設計された最初の大規模コーパスであるGraphPileを紹介する。 23のグラフタスクに109億のトークンを散らばるこのデータセットには、チェーンオブ思考、プログラムオブ思考、実行の痕跡、実世界のグラフデータが含まれている。 GraphPileを使用して、人気のあるベースモデルであるLlama 3と3.1とGemma 2でGraphMindをトレーニングし、数学的推論において最大4.9%の精度を実現し、論理的および常識的推論のような非数学的推論タスクにおいて最大21.2パーセントの改善を実現した。推論パターンの強化とこの種の最初のデータセットの導入に初めてGPRを活用することで、ドメイン固有の事前学習能力と普遍的推論能力のギャップを埋め、LCMの適応性と堅牢性を向上させる。

関連論文リスト

Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文参考訳（メタデータ） (2025-06-11T12:03:52Z)
G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning [58.73279333365234]
合成グラフ理論タスクにおける強化学習(RL)はグラフ推論能力を著しく拡張することができる。 RL on ErdosでG1はグラフ推論の大幅な改善を実現し、微調整された3BモデルはQwen2.5-72B-Instruct(24倍)よりも優れています。我々の研究は、グラフ理論上のRLでLLMを微調整することで、強力なグラフ推論器を構築するための効率的でスケーラブルな経路を提供する。
論文参考訳（メタデータ） (2025-05-24T04:33:41Z)
Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文参考訳（メタデータ） (2025-05-22T05:15:27Z)
Do Larger Language Models Imply Better Generalization? A Pretraining Scaling Law for Implicit Reasoning [89.17086632436363]
本研究では,実世界の大規模知識グラフの構造と分布を再現する合成マルチホップ推論環境を提案する。我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。
論文参考訳（メタデータ） (2025-04-04T17:57:22Z)
Rewarding Graph Reasoning Process makes LLMs more Generalized Reasoners [30.195361623027313]
Process Reward Models (PRMs) は、段階的なフィードバックを提供することで推論を強化するという、例外的な約束を証明している。本稿では,グラフ推論問題に対して,ステップワイドラベルを用いた最大のデータセットであるGraphSILOを紹介する。グラフ推論問題のために設計された最初のPRMであるGraphPRMをトレーニングし、2つのキー設定でその有効性を評価する。
論文参考訳（メタデータ） (2025-03-02T10:39:40Z)
What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
論文参考訳（メタデータ） (2024-10-16T00:01:31Z)
Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。本稿では,課題計画のためのグラフ学習に基づく手法について検討する。我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文参考訳（メタデータ） (2024-05-29T14:26:24Z)
VisionGraph: Leveraging Large Multimodal Models for Graph Theory Problems in Visual Context [41.11701706312843]
我々はVisionGraphというベンチマークを設計し、マルチモーダルグラフ理論問題の解法における高度なLMMの能力について検討する。本稿では、推論過程の論理的精度を高めるために、DPR(Description-Program-Reasoning)連鎖を提案する。 GPT-4V は多段階グラフ推論において Gemini Pro よりも優れていた。
論文参考訳（メタデータ） (2024-05-08T10:42:48Z)
Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
論文参考訳（メタデータ） (2023-10-06T19:55:21Z)
Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-10T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。