Fugu-MT 論文翻訳(概要): Graph-GRPO: Training Graph Flow Models with Reinforcement Learning

論文の概要: Graph-GRPO: Training Graph Flow Models with Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.10395v1
Date: Wed, 11 Mar 2026 04:20:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-12 16:22:32.777109
Title: Graph-GRPO: Training Graph Flow Models with Reinforcement Learning
Title（参考訳）: Graph-GRPO:強化学習によるグラフフローモデルのトレーニング
Abstract要約: グラフフローモデル(GFM)を学習するためのオンライン強化学習フレームワークであるGraph-GRPOを提案する。わずか50ステップで95.0%と97.5%のValid-Unique-Noveltyスコアが得られた。
参考スコア（独自算出の注目度）: 14.937302684130257
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graph generation is a fundamental task with broad applications, such as drug discovery. Recently, discrete flow matching-based graph generation, \aka, graph flow model (GFM), has emerged due to its superior performance and flexible sampling. However, effectively aligning GFMs with complex human preferences or task-specific objectives remains a significant challenge. In this paper, we propose Graph-GRPO, an online reinforcement learning (RL) framework for training GFMs under verifiable rewards. Our method makes two key contributions: (1) We derive an analytical expression for the transition probability of GFMs, replacing the Monte Carlo sampling and enabling fully differentiable rollouts for RL training; (2) We propose a refinement strategy that randomly perturbs specific nodes and edges in a graph, and regenerates them, allowing for localized exploration and self-improvement of generation quality. Extensive experiments on both synthetic and real datasets demonstrate the effectiveness of Graph-GRPO. With only 50 denoising steps, our method achieves 95.0\% and 97.5\% Valid-Unique-Novelty scores on the planar and tree datasets, respectively. Moreover, Graph-GRPO achieves state-of-the-art performance on the molecular optimization tasks, outperforming graph-based and fragment-based RL methods as well as classic genetic algorithms.
Abstract（参考訳）: グラフ生成は、薬物発見などの幅広い応用における基本的なタスクである。近年, グラフフローモデル (GFM) は, 優れた性能とフレキシブルサンプリングのため, 離散フローマッチングに基づくグラフ生成法である。しかしながら、GFMを複雑な人間の好みやタスク固有の目的と効果的に整合させることは、依然として重要な課題である。本稿では,オンライン強化学習(RL)フレームワークであるGraph-GRPOを提案する。我々は,(1)モンテカルロサンプリングを置き換え,RLトレーニングのための完全微分可能なロールアウトを可能にする解析式を導出し,(2)グラフ内の特定のノードやエッジをランダムに摂動し,それらを再生し,局所的な探索と生成品質の自己改善を可能にする改良戦略を提案する。合成データセットと実データセットの両方に対する大規模な実験は、Graph-GRPOの有効性を実証している。 95.0\% と 97.5\% の正解率を平面とツリーのデータセット上でそれぞれ達成する。さらに、Graph-GRPOは、従来の遺伝的アルゴリズムと同様に、グラフベースおよびフラグメントベースRL法よりも優れた、分子最適化タスクにおける最先端のパフォーマンスを達成する。

関連論文リスト

Approximate Subgraph Matching with Neural Graph Representations and Reinforcement Learning [15.3743761404157]
本稿では,強化学習に基づく近似部分グラフマッチング(RL-ASM)アルゴリズムを提案する。このモデルでは,2つの入力グラフから1対のノードを1対選択し,潜在的なマッチングを行うアルゴリズムを構築している。合成データセットと実世界のデータセットの両方の実験により、我々のRL-ASMは、有効性と効率の点で既存の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2026-03-18T21:53:23Z)
Incorporating Spatial Information into Goal-Conditioned Hierarchical Reinforcement Learning via Graph Representations [37.10671332775445]
目標条件付き強化学習(GCHRL)とグラフの統合は近年注目されている。既存のアプローチは通常、これらのグラフを構築するためにドメイン固有の知識に依存します。本稿では,未確認状態を評価するためのグラフエンコーダデコーダの開発による解を提案する。
論文参考訳（メタデータ） (2025-11-14T00:58:39Z)
G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning [58.73279333365234]
合成グラフ理論タスクにおける強化学習(RL)はグラフ推論能力を著しく拡張することができる。 RL on ErdosでG1はグラフ推論の大幅な改善を実現し、微調整された3BモデルはQwen2.5-72B-Instruct(24倍)よりも優れています。我々の研究は、グラフ理論上のRLでLLMを微調整することで、強力なグラフ推論器を構築するための効率的でスケーラブルな経路を提供する。
論文参考訳（メタデータ） (2025-05-24T04:33:41Z)
GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [83.72561905487447]
本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-02-03T07:04:29Z)
Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文参考訳（メタデータ） (2025-01-01T08:48:53Z)
GALA: Graph Diffusion-based Alignment with Jigsaw for Source-free Domain Adaptation [13.317620250521124]
ソースコードのないドメイン適応は、現実世界で多くのアプリケーションを含むため、重要な機械学習トピックである。最近のグラフニューラルネットワーク(GNN)アプローチは、ドメインシフトとラベルの不足により、パフォーマンスが著しく低下する可能性がある。本稿では, ソースフリーなグラフドメイン適応に適した Jigsaw (GALA) を用いたグラフ拡散に基づくアライメント法を提案する。
論文参考訳（メタデータ） (2024-10-22T01:32:46Z)
LLM-Based Multi-Agent Systems are Scalable Graph Generative Models [73.28294528654885]
GraphAgent-Generator (GAG) は動的でテキスト対応のソーシャルグラフ生成のための新しいシミュレーションベースのフレームワークである。 GAGは、ゼロショットソーシャルグラフ生成のための時間ノードとエッジ生成プロセスをシミュレートする。得られたグラフは7つの主要なマクロ的ネットワーク特性に付着し、微視的グラフ構造測定において11%の改善が達成される。
論文参考訳（メタデータ） (2024-10-13T12:57:08Z)
DeFoG: Discrete Flow Matching for Graph Generation [45.037260759871124]
DeFoGは、トレーニングからサンプリングをアンタングルするグラフ生成フレームワークである。本稿では,性能を著しく向上し,必要な精錬工程数を削減できる新しいサンプリング手法を提案する。
論文参考訳（メタデータ） (2024-10-05T18:52:54Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文参考訳（メタデータ） (2022-05-06T03:37:00Z)
Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。