論文の概要: SGA-Flow-GRPO: Spatial Gradient-Guided Credit Assignment for Flow-GRPO

• arxiv url: http://arxiv.org/abs/2609.32340v1
• Date: Sat, 26 Sep 2026 07:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:35:39.30552
• Title: SGA-Flow-GRPO: Spatial Gradient-Guided Credit Assignment for Flow-GRPO
• Title（参考訳）: SGA-Flow-GRPO: Flow-GRPOのための空間勾配誘導型クレジットアサインメント
• Abstract要約: 拡散変換器(DiT)に適した勾配誘導型空間クレジット割り当てフレームワークを提案する。 厳密な境界感性セグメンテーションを伴わない局所クレジットを割り当てるために,報酬勾配から導出した連続的な空間クレジットマップを導入する。 我々の手法はSOTAアライメントの品質を提供し、DiffusionNFTのような最上位の手法に匹敵する収束率を達成する。
• 参考スコア（独自算出の注目度）: 14.979455769427469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has proven effective in aligning flow-based generative models with human preferences. Recently, Flow-GRPO has emerged as an efficient critic-free paradigm by calculating advantages over sampled candidate trajectories. However, standard Flow-GRPO applies a uniform scalar advantage across both temporal denoising steps and spatial latent dimensions, without explicitly accounting for the spatial structure of generated images, which may lead to sub-optimal policy updates. To address this, we propose a novel gradient-guided spatial credit assignment framework tailored for Diffusion Transformers (DiTs). We first reformulate the transition-level log-likelihood in Flow-GRPO into a token-wise representation natively aligned with DiT patch architectures, constructing spatially fine-grained importance sampling ratios. To allocate localized credit without rigid, boundary-sensitive segmentation heuristics, we introduce a continuous spatial credit map derived from reward gradients. Crucially, we employ an outlier-robust normalization scheme based on Median Absolute Deviation (MAD) coupled with temperature scaling, effectively eliminating gradient noise while highlighting functional prompt-aligned regions. Extensive evaluations on GenEval show that our approach delivers SOTA alignment quality, achieving a convergence rate comparable to top-tier methods like DiffusionNFT while substantially improving upon Flow-GRPO-based methods in alignment performance.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, フローベース生成モデルと人間の嗜好の整合性を実証した。 近年, Flow-GRPO は, 標本化された候補軌道に対する利点を計算し, 効率的な批判のないパラダイムとして出現している。 しかし、標準のFlow-GRPOは、生成した画像の空間構造を明示的に考慮することなく、時間的認知ステップと空間的潜伏次元の両方に一様スカラーの利点を適用し、最適化されたポリシー更新につながる可能性がある。 そこで本稿では,拡散変換器(DiT)に適した勾配誘導型空間クレジット割り当てフレームワークを提案する。 まず、フロー-GRPOの遷移レベルログを、DiTパッチアーキテクチャとネイティブに整合したトークン単位の表現に再構成し、空間的にきめ細かい重要度サンプリング比を構築する。 厳密な境界感性セグメンテーションヒューリスティックスを使わずに局所クレジットを割り当てるために,報酬勾配から導かれる連続的な空間クレジットマップを導入する。 重要な点として,メディア絶対偏差(MAD)と温度スケーリングを併用し,機能的プロンプト整列領域を強調表示しながら,勾配ノイズを効果的に除去する外乱正規化方式を用いる。 GenEvalの広範囲な評価は、我々の手法がSOTAアライメントの品質を実現し、DiffusionNFTのような最上位の手法に匹敵する収束率を実現し、フロー-GRPOに基づくアライメント性能の向上を実現していることを示している。

関連論文リスト

• ReFPO: Reflow Regularization for Flow Matching Policy Gradients [58.32178725687043]
  本稿では,フローマッチングポリシーに明示的なリフロー正規化を追加する,シンプルなオンラインRL手法を提案する。 ReFPOはGridWorld, MuJoCo Playground, および高次元ヒューマノイド制御タスクにおける平均性能と離散化を改善することを実験的に実証した。
  論文  参考訳（メタデータ） (2026-06-19T04:23:10Z)
• LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models [48.68246945083386]
  Likelihood-Free Policy Optimization (LFPO) は、ベクトル場フローの概念を離散トークン空間にマッピングするネイティブフレームワークである。 LFPOは幾何速度補正としてアライメントを定式化し、対照的な更新によって直接対流を最適化する。 実験によると、LFPOはコードと推論ベンチマークの最先端のベースラインを上回るだけでなく、拡散ステップの削減によって推論を約20%加速する。
  論文  参考訳（メタデータ） (2026-03-02T07:42:55Z)
• Improving Classifier-Free Guidance of Flow Matching via Manifold Projection [3.6087998976768128]
  最適化のレンズによるCFGの原理的解釈を提供する。 CFGサンプリングを多様体制約によるホモトピー最適化として再構成する。 提案手法は, トレーニング不要かつ一貫した生成忠実度, 迅速なアライメント, ガイダンス尺度に対するロバスト性である。
  論文  参考訳（メタデータ） (2026-01-29T15:49:31Z)
• Rectified-CFG++ for Flow Based Models [26.896426878221718]
  本稿では,修正フローの決定論的効率を幾何学的条件付きルールと組み合わせた適応型予測器・補正器ガイダンスであるRectified-C++を提案する。 大規模なテキスト・ツー・イメージモデル(Flux, Stable Diffusion 3/3.5, Lumina)の実験では、Rectified-C++がベンチマークデータセットの標準CFGを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-10-09T00:00:47Z)
• Flows and Diffusions on the Neural Manifold [0.0]
  拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。 本研究では、最近の手法を活用して、これらの進歩を重み空間学習に拡張し、最適化力学から導かれる構造的事前を組み込む。 我々は,勾配流の整合性を考慮した軌道推論手法を統一し,最適化経路を帰納バイアスとして扱うための理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-07-14T02:26:06Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。