論文の概要: Function-Structured Reinforcement Learning with Executable Verifiers for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2610.01729v1
• Date: Thu, 01 Oct 2026 14:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.177838
• Title: Function-Structured Reinforcement Learning with Executable Verifiers for Mathematical Reasoning
• Title（参考訳）: 数学的推論のための実行可能検証器を用いた関数構造強化学習
• Abstract要約: アルゴリズムの数学的推論には、信頼性のある分解、計算、集約が必要である。 関数構造化グラフ強化学習(FSG-RL)を提案する。 FSG-RLはサブプロブレムグラフとPython実装を多重検証フィードバックで接続する。
• 参考スコア（独自算出の注目度）: 17.430731883830017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithmic mathematical reasoning requires reliable decomposition, computation, and aggregation. Final-answer rewards provide limited guidance on intermediate errors, while successful execution does not guarantee mathematical correctness. This work proposes Function-Structured Graph Reinforcement Learning (FSG-RL), connecting subproblem graphs and Python implementations with multi-verifier feedback. The policy first learns to generate code from function graphs through supervised fine-tuning (SFT). Group Relative Policy Optimization (GRPO) then optimizes the policy using answer-gated rewards and span-level credit assignment. The framework also supports teacher supervision and structured memory. A benchmark curated from Grade School Math 8K (GSM8K), MathQA, MATH, and Omni-MATH pairs public function graphs with private verification specifications. Under a unified evaluation protocol, GRPO improves final-answer accuracy from 43.25% to 67.50% and full solution success from 32.25% to 52.25% over SFT. Continued reinforcement learning (RL) with teacher supervision yields additional gains. The gains extend beyond producing correctly formatted code, supporting verifier-guided reinforcement learning for mathematical reasoning. Code is available at https://github.com/ZihanLiummyycc/FSG-RL.
• Abstract（参考訳）: アルゴリズムの数学的推論には、信頼性のある分解、計算、集約が必要である。 最終回答報酬は中間誤差について限定的なガイダンスを提供するが、実行が成功すると数学的正確性は保証されない。 本研究では,サブプロブレムグラフとPython実装をマルチ検証フィードバックで接続する関数構造化グラフ強化学習(FSG-RL)を提案する。 このポリシーはまず、教師付き微調整(SFT)を通じて関数グラフからコードを生成することを学習する。 グループ相対政策最適化(GRPO)は、回答付き報酬とスパンレベルのクレジット代入を使用してポリシーを最適化する。 このフレームワークは教師の監督と構造化記憶もサポートする。 Grade School Math 8K (GSM8K)、MathQA、MATH、Omni-MATHのベンチマークは、公開関数グラフとプライベート検証仕様を組み合わせている。 統一された評価プロトコルの下で、GRPOは最終回答の精度を43.25%から67.50%に改善し、完全な解法は32.25%から52.25%に改善した。 教師の指導による強化学習(RL)は、さらなる利益をもたらす。 このゲインは、正しくフォーマットされたコードを生成することを超えて拡張され、数学的推論のための検証者誘導強化学習をサポートする。 コードはhttps://github.com/ZihanLiummyycc/FSG-RLで公開されている。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs [8.176236109014758]
  本稿では,三重項のスコアリング関数として文字列ベースのチェーン・オブ・シークレットのプロンプトを学習するRALPを紹介する。 推論では、ralPは、欠落したエンティティ、関係、あるいは三重項全体を予測し、学習したプロンプトに基づいて信頼スコアを割り当てる。 実装、トレーニング、評価パイプラインをオープンソースとしてリリースしています。
  論文  参考訳（メタデータ） (2026-04-14T12:21:15Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• Upside Down Reinforcement Learning with Policy Generators [26.883212329754848]
  Upside Down Reinforcement Learning (UDRL)は、強化学習問題を解決するための有望なフレームワークである。 UDRLを深層ニューラルネットワークポリシーのコマンド条件付きジェネレータの学習タスクに拡張する。 UDRLPG(Upside Down Reinforcement Learning with Policy Generators)と呼ばれる我々の手法は、同等の手法を合理化している。
  論文  参考訳（メタデータ） (2025-01-27T18:25:04Z)
• Learning Regularized Graphon Mean-Field Games with Unknown Graphons [155.38727464526923]
  グラフィック平均フィールドゲーム(GMFG)のための強化学習アルゴリズムを設計する。 我々は、正規化されたGMFGのナッシュ平衡(NE)を、グラフンが未知のときに学習することを目指している。 これらのアルゴリズムは、サンプルエージェントからグラモンを学習するために設計された最初のものである。
  論文  参考訳（メタデータ） (2023-10-26T16:19:24Z)
• Fast Graph Learning with Unique Optimal Solutions [31.411988486916545]
  既知のクローズドフォームソリューションで対流目標を最適化する効率的なGLL法を提案します。 提案手法は, GRLタスクにおける競合性能や最新性能を実現する。
  論文  参考訳（メタデータ） (2021-02-17T02:00:07Z)
• PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
  本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。 本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。 我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
  論文  参考訳（メタデータ） (2020-10-06T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。