論文の概要: G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.18499v2
• Date: Tue, 03 Jun 2025 07:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:31.98808
• Title: G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning
• Title（参考訳）: G1:強化学習によるグラフの推論をLLMに教える
• Authors: Xiaojun Guo, Ang Li, Yifei Wang, Stefanie Jegelka, Yisen Wang,
• Abstract要約: 合成グラフ理論タスクにおける強化学習(RL)はグラフ推論能力を著しく拡張することができる。 RL on ErdosでG1はグラフ推論の大幅な改善を実現し、微調整された3BモデルはQwen2.5-72B-Instruct(24倍)よりも優れています。 我々の研究は、グラフ理論上のRLでLLMを微調整することで、強力なグラフ推論器を構築するための効率的でスケーラブルな経路を提供する。
• 参考スコア（独自算出の注目度）: 58.73279333365234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Large Language Models (LLMs) have demonstrated remarkable progress, their proficiency in graph-related tasks remains notably limited, hindering the development of truly general-purpose models. Previous attempts, including pretraining graph foundation models or employing supervised fine-tuning, often face challenges such as the scarcity of large-scale, universally represented graph data. We introduce G1, a simple yet effective approach demonstrating that Reinforcement Learning (RL) on synthetic graph-theoretic tasks can significantly scale LLMs' graph reasoning abilities. To enable RL training, we curate Erd\~os, the largest graph reasoning dataset to date comprising 50 diverse graph-theoretic tasks of varying difficulty levels, 100k training data and 5k test data, all drived from real-world graphs. With RL on Erd\~os, G1 obtains substantial improvements in graph reasoning, where our finetuned 3B model even outperforms Qwen2.5-72B-Instruct (24x size). RL-trained models also show strong zero-shot generalization to unseen tasks, domains, and graph encoding schemes, including other graph-theoretic benchmarks as well as real-world node classification and link prediction tasks, without compromising general reasoning abilities. Our findings offer an efficient, scalable path for building strong graph reasoners by finetuning LLMs with RL on graph-theoretic tasks, which combines the strengths of pretrained LLM capabilities with abundant, automatically generated synthetic data, suggesting that LLMs possess graph understanding abilities that RL can elicit successfully. Our implementation is open-sourced at https://github.com/PKU-ML/G1, with models and datasets hosted on Hugging Face collections https://huggingface.co/collections/PKU-ML/g1-683d659e992794fc99618cf2 for broader accessibility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい進歩を見せているが、グラフ関連タスクの習熟度は明らかに制限されており、真の汎用モデルの開発を妨げている。 グラフ基礎モデルの事前訓練や教師付き微調整といった以前の試みは、大規模で普遍的に表されるグラフデータの不足のような課題に直面していることが多い。 合成グラフ理論タスクにおける強化学習(Reinforcement Learning, RL)がLLMのグラフ推論能力を著しく拡張できることを示す。 RLトレーニングを実現するために、現在までに最大のグラフ推論データセットであるErd\~osをキュレートする。 Erd\~os 上の RL では、G1 はグラフ推論の大幅な改善を受けており、微調整された 3B モデルは Qwen2.5-72B-Instruct (24倍) よりも優れています。 RL訓練されたモデルは、他のグラフ理論ベンチマークや実世界のノード分類やリンク予測タスクを含む、目に見えないタスク、ドメイン、グラフ符号化スキームに対して、一般的な推論能力を損なうことなく、強力なゼロショット一般化を示す。 本研究は, LLMとRLをグラフ理論上のタスクで微調整することにより, 強力なグラフ推論器を構築するための, 効率的でスケーラブルな経路を提供するものである。 私たちの実装はhttps://github.com/PKU-ML/G1でオープンソース化されています。Hugging Faceコレクションにホストされているモデルとデータセットは、より広範なアクセシビリティのために、https://huggingface.co/collections/PKU-ML/g1-683d659e992794fc99618cf2で公開されています。

関連論文リスト

• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
  GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。 4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。 その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
  論文  参考訳（メタデータ） (2023-10-09T16:42:00Z)
• Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
  我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。 最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。