Fugu-MT 論文翻訳(概要): GFlowRL: Scaling Distribution-Matching RL to Large Language Models

論文の概要: GFlowRL: Scaling Distribution-Matching RL to Large Language Models

arxiv url: http://arxiv.org/abs/2607.13394v1
Date: Wed, 15 Jul 2026 02:43:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-16 16:39:12.624166
Title: GFlowRL: Scaling Distribution-Matching RL to Large Language Models
Title（参考訳）: GFlowRL: 大規模言語モデルへの分散マッチングRLのスケーリング
Abstract要約: Generative Flow Networks(GFlowNets)は、大きな推論モデルに対する報酬最大化強化学習(RL)に代わる有望な代替手段を提供する。最近の研究は数学とコードに関する約束を示しているが、GFlowNetスタイルのRLを現代のポストトレーニングパイプラインに拡張することは依然として難しい。本稿では,部分分割ネットワークを完全に除去するGFlowNetスタイルのRLアルゴリズムであるGFlowRLを提案する。
参考スコア（独自算出の注目度）: 26.27023085358537
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative Flow Networks (GFlowNets) offer a promising alternative to reward-maximizing reinforcement learning (RL) for large reasoning models, encouraging diverse reasoning paths by matching reward distributions rather than collapsing to dominant modes. Recent work shows promise on math and code, but scaling GFlowNet-style RL to modern post-training pipelines remains difficult: as model size, rollout horizon, reward noise, and distributed-systems complexity grow together, a learned prompt-conditional partition function becomes a source of gradient instability and engineering overhead rather than a useful normalizer. Through systematic analysis, we find that the learned partition function, previously treated as essential, can be replaced by an in-batch Monte Carlo estimate computed from the rollout group already required for training. We propose GFlowRL, a streamlined GFlowNet-style RL algorithm that removes the auxiliary partition network entirely while preserving the reward-distribution-matching objective, completed by two stabilizers: importance-sampling correction for rollout/trainer drift and asymmetric flow-gap clipping for outlier residuals. GFlowRL exceeds all counterparts on math, code, and adversarial red-teaming benchmarks, reaching a Codeforces rating of 2048 at the 14B scale (within 25 Elo of o3-mini) and attaining the highest average ASR@1 on AdvBench and HarmBench, outperforming the previous SOTA multi-turn attacker in a regime where FlowRL, a prior GFlowNet-style method, diverges. The same recipe transfers to all evaluated MoE configurations up to 235B parameters, where FlowRL again fails to converge. To our knowledge, GFlowRL is the first GFlowNet-style RL algorithm to scale stably across both dense and sparse architectures. Code will be at: https://github.com/microsoft/gflowrl
Abstract（参考訳）: Generative Flow Networks (GFlowNets)は、大きな推論モデルに対する報酬最大化強化学習(RL)に代わる有望な代替手段を提供する。モデルのサイズ、ロールアウト水平線、報酬ノイズ、分散システムの複雑さが増大するにつれて、学習されたプロンプト条件分割関数は、有用な正規化ではなく、勾配不安定性とエンジニアリングオーバーヘッドの源となる。系統的な解析により、学習された分割関数は、以前に必要不可欠なものとして扱われていたもので、既にトレーニングに必要とされているロールアウトグループから計算されたバッチ内モンテカルロ推定に置き換えられることがわかった。そこで我々は,GFlowRLアルゴリズムを提案する。GFlowRLは,2つの安定化器(ロールアウト/トレーナードリフトにおける重要サンプリング補正と,外乱残差に対する非対称フローギャップクリッピング)によって達成される報酬分配マッチングの目的を保ちながら,部分分割ネットワークを完全に除去する。 GFlowRLは数学、コード、敵のレッドチームベンチマークのすべてを超え、Codeforcesのレーティングを14Bスケールで2048に到達し(o3-miniの25エロで)、AdvBenchとHarmBenchで平均的なASR@1に達した。同じレシピは、すべての評価済みのMoE設定に最大235Bパラメータで転送され、FlowRLは再び収束に失敗する。我々の知る限り、GFlowRLはGFlowNetスタイルのRLアルゴリズムとしては初めて、密度と疎度の両方のアーキテクチャを安定してスケールする。コードは次のようになる。

関連論文リスト

Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
論文参考訳（メタデータ） (2026-06-02T03:09:13Z)
Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2025-10-13T17:47:50Z)
Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
論文参考訳（メタデータ） (2025-06-01T20:32:27Z)
Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文参考訳（メタデータ） (2025-05-08T17:58:45Z)
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization [4.158255103170876]
GFlowNetsは、与えられた報酬関数に比例したオブジェクトのサンプルを学習する生成モデルのファミリーである。近年の研究では,GFlowNetトレーニングとエントロピー規則化強化学習問題との密接な関係が示されている。本稿では,エントロピー規則化マルコフ決定プロセスにおいて,値関数を直接逐次的に適用する,シンプルな後方ポリシー最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-20T19:12:14Z)
Random Policy Evaluation Uncovers Policies of Generative Flow Networks [12.294107455811496]
Generative Flow Network(GFlowNet)は、エージェントがポリシーとフロー関数を学習する確率的フレームワークである。本稿では,GFlowNetsとRLの最も基本的なコンポーネントであるポリシー評価の基本的な関係を明らかにする。本稿では,GFlowNetsと同様の報酬マッチング効果を達成できる修正ランダムポリシー評価アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-04T11:11:53Z)
Generative Flow Networks as Entropy-Regularized RL [4.857649518812728]
生成フローネットワーク(ジェネレーティブフローネットワーク、英:generative flow network、GFlowNets)は、一連の行動を通じて与えられた報酬に比例確率を持つ合成対象をサンプリングするためのポリシーを訓練する手法である。生成フローネットワークの学習作業は,エントロピー規則化強化学習問題として効率的に行うことができることを示す。先に報告した結果とは対照的に,エントロピー的RLアプローチは,既存のGFlowNetトレーニング手法と競合する可能性がある。
論文参考訳（メタデータ） (2023-10-19T17:31:40Z)
Towards Understanding and Improving GFlowNet Training [71.85707593318297]
本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
論文参考訳（メタデータ） (2023-05-11T22:50:41Z)
Better Training of GFlowNets with Local Credit and Incomplete Trajectories [81.14310509871935]
エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
論文参考訳（メタデータ） (2023-02-03T12:19:42Z)
Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文参考訳（メタデータ） (2022-09-26T15:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。