論文の概要: JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models

• arxiv url: http://arxiv.org/abs/2607.17572v2
• Date: Wed, 22 Jul 2026 05:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 14:36:03.3445
• Title: JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models
• Title（参考訳）: JAGG: 拡散モデルの効率的なGRPO学習のためのJacobian-Aggregated Group Gradient
• Abstract要約: textbfJAGG (textbfJacobian-textbfAggregated textbfGroup textbfGradient) を提示する。 T2Iベンチマークの実験は、JAGGが無視できる品質劣化を伴う$sim$times$backward speedupを提供することを示している。
• 参考スコア（独自算出の注目度）: 11.454532495847056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) is a powerful reinforcement learning algorithm for aligning generative models with human preferences. While successful in large language models~\cite{shao2024deepseekmathpushinglimitsmathematical}, its extension to diffusion and flow matching models introduces a severe computational bottleneck: gradients must be back-propagated through the high-capacity DiT backbone at \emph{every} timestep of the sampling trajectory, making high-resolution text-to-image (T2I) training prohibitively expensive. Training-free DiT inference acceleration methods (e.g., $Δ$-DiT, ScalingCache) exploit the fact that DiT hidden states and velocity predictions vary \emph{smoothly and nearly linearly} along the trajectory. We ask whether the same linearity can reduce the backward-pass cost of DiT RL training, and answer affirmatively with \textbf{JAGG} (\textbf{J}acobian-\textbf{A}ggregated \textbf{G}roup \textbf{G}radient), which reduces full transformer backward passes from $W$ to $2$ per group of $W$ consecutive steps. JAGG approximates intermediate-step Jacobians via $t$-weighted interpolation of the endpoint Jacobians, then aggregates per-step upstream signals into two composite gradients applied through a single joint backward pass. We prove this interpolation is \emph{exact} when the velocity is linear in $(z,t)$, and a cosine-similarity routing rule (\texttt{jagg\_frac}) deploys JAGG only where the assumption holds. Experiments on T2I benchmarks show JAGG delivers $\sim$2$\times$ backward speedup with negligible quality degradation.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、生成モデルと人間の嗜好を整合させる強力な強化学習アルゴリズムである。 大規模な言語モデル~\cite{shao2024deepseekmathpushinglimitsmathematical} で成功したが、拡散とフローマッチングモデルの拡張は深刻な計算ボトルネックをもたらす。 トレーニング不要なDiT推論加速法(例:$Δ$-DiT, ScalingCache)は、DiT隠れ状態と速度予測が軌道に沿ってemph{smoothly and almost linearly} に変化するという事実を利用する。 我々は、同じ線形性でDiT RLトレーニングの後方通過コストを削減できるかどうかを問うとともに、W$連続ステップの1グループあたり$W$から$W$の1グループあたり$2$まで、フルトランスフォーマーの後方通過を減少させるような \textbf{J}acobian-\textbf{A}ggregated \textbf{G}roup \textbf{G}roup \textbf{G}radient で肯定的に答える。 JAGGは、エンドポイントのジャコビアンを$t$の重み付き補間することで中間ステップのジャコビアンを近似し、その後、ステップごとの上流の信号を1つのジョイント後方通過で適用された2つの複合勾配に集約する。 この補間は、速度が$(z,t)$で線型であるときに \emph{exact} であることが証明され、仮定が成り立つ場合にのみ JAGG をデプロイするコサイン類似性ルーティングルール (\texttt{jagg\_frac}) が成立する。 T2Iベンチマークの実験では、JAGGは無視できる品質劣化を伴う、$\sim$2$\times$backward speedupを提供する。

関連論文リスト

• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
  トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。 LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。 数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
  論文  参考訳（メタデータ） (2026-01-29T16:18:34Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Multi-Timescale Gradient Sliding for Distributed Optimization [23.311605203774388]
  凸・非平滑・分散最適化問題に対する2つの一階法を提案する。 我々のMT-GSとATT-GSは、通信ラウンドを減らすために、(局所的な)目的間の類似性を利用することができる。 これら3つの望ましい特徴はブロック分解可能な原始双対の定式化によって達成される。
  論文  参考訳（メタデータ） (2025-06-18T12:03:34Z)
• On Fitting Flow Models with Large Sinkhorn Couplings [34.004981672572484]
  フローモデルは、1つのモーダリティ(例えばノイズ)から別のモーダリティ(例えば画像)へ徐々にデータを変換する。 近年の研究では、$n$ソースと$n$ターゲットポイントのミニバッチをサンプリングし、OTソルバを使用してそれらを再注文してより良いペアを作る方法が提案されている。 エントロピーの正則化が低い大きなシンクホーンカップリングを組み込む場合, 流れモデルに大きな利点があることが示される。
  論文  参考訳（メタデータ） (2025-06-05T19:19:01Z)
• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
  本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。 我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。 技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
  論文  参考訳（メタデータ） (2022-10-15T09:22:22Z)
• Asynchronous Training Schemes in Distributed Learning with Time Delay [17.259708772713164]
  分散ディープラーニングの文脈では、固定重みや勾配の問題によってアルゴリズムの性能が低下する可能性がある。 本稿では,静的な重みや勾配の問題に対処する別のアプローチを提案する。 また,PC-ASGDの実用版として,トレードオフパラメータの決定を支援する条件を適用して提案する。
  論文  参考訳（メタデータ） (2022-08-28T07:14:59Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
  ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。 本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
  実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。 我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-04-06T15:34:14Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Training (Overparametrized) Neural Networks in Near-Linear Time [21.616949485102342]
  本稿では,ReparamLUネットワークをトレーニングするための[CGH+1]アルゴリズムの高速化について述べる。 我々のアルゴリズムの中心はガウスニュートンを$ell$-reconditionとして再構成することである。
  論文  参考訳（メタデータ） (2020-06-20T20:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。