論文の概要: ExploreNet: Learning Where to Explore in Diffusion GRPO

• arxiv url: http://arxiv.org/abs/2609.38329v1
• Date: Tue, 29 Sep 2026 18:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.555709
• Title: ExploreNet: Learning Where to Explore in Diffusion GRPO
• Title（参考訳）: ExploreNet: 拡散GRPOで探索する場所を学ぶ
• Abstract要約: 群相対RL法は、各デノナイジングステップで付加される等方的ガウス雑音を用いて探索する。 このノイズは、モデルがどのロールアウトから学習するかを決定するが、全てのチャネルと潜伏者の空間的位置は等しく摂動する。 潜在要素は、生成した画像がどれだけ変化するかによって異なるので、探索はこれらの違いに適応するべきである。
• 参考スコア（独自算出の注目度）: 86.83337731106667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative RL methods such as Flow-GRPO post-train image generators by exploring with isotropic Gaussian noise added at every denoising step. This noise decides which rollouts the model learns from, yet it perturbs every channel and spatial position of the latent equally. In this paper, we instead show that latent elements differ in how much they change the generated image, so exploration should adapt to these differences. We introduce EXPLORENET to learn an adaptive exploration distribution. EXPLORENET is a policy that predicts a noise scale for every latent element from the current latent, the denoising step, and the prompt, before any reward is observed; it is trained on the reward spread of each rollout group and discarded after training, leaving inference unchanged. On Stable Diffusion 3.5 Medium, EXPLORENET improves held-out GenEval2 by 14% over Flow-GRPO, transfers to two independent compositional benchmarks and five preference and image-quality models, and reaches a 67.2% human preference win-rate. Overall, across our group-relative diffusion RL experiments, we find that exploration is learnable, the shape of the exploration distribution outweighs its magnitude, and rollout quality is more effective than rollout quantity.
• Abstract（参考訳）: 流-GRPOポストトレイン画像生成器のようなグループ相対RL法は, 異方性ガウス雑音をデノナイジングステップ毎に加えることで探索する。 このノイズは、モデルがどのロールアウトから学習するかを決定するが、全てのチャネルと潜伏者の空間的位置は等しく摂動する。 そこで本論文では, 潜伏要素が生成画像の変化量によって異なることを示すので, 探索はこれらの違いに適応すべきである。 適応的な探索分布を学習するために EXPLORENET を導入する。 EXPLORENETは、現在潜伏中の各潜伏要素のノイズスケールを予測し、任意の報酬が観測される前にデノナイジングステップとプロンプトを予測し、各ロールアウトグループの報酬拡散をトレーニングし、トレーニング後に破棄され、推論は変わらない。 安定拡散3.5媒体では、EXPLORENETはFlow-GRPOでGenEval2を14%改善し、2つの独立した構成ベンチマークと5つの好みと画質のモデルに移行し、67.2%の人間の好みの勝利率に達した。 全体として, グループ相対拡散RL実験において, 探索は学習可能であり, 探索分布の形状はその大きさよりも大きく, ロールアウト品質はロールアウト量よりも効果的であることがわかった。

関連論文リスト

• Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models [0.0]
  ノイズコントラストGRPOは、スケール校正されたガウスノイズをプロンプトエンコードパスの最後の隠れ層に注入する。 Geometry3Kで訓練されたQwen2.5-VL-7Bでは、NC-GRPOは領域外の数学的推論を大幅に改善した。
  論文  参考訳（メタデータ） (2026-08-21T19:56:50Z)
• AsyncPatch Diffusion: spatially-flexible image generation [24.854661299695156]
  AsyncPatch Diffusionは、異なる入力次元に異なるノイズレベルを割り当てる共同拡散フレームワークである。 この非同期な腐敗が、いかに有効な生成過程を定義するかを示す。 我々は不確実性誘導加速度や自己回帰サンプリングを含む適応的な生成戦略を実証する。
  論文  参考訳（メタデータ） (2026-06-05T09:16:51Z)
• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• Your Diffusion Model is Secretly a Noise Classifier and Benefits from Contrastive Training [20.492630610281658]
  拡散モデルはデータをノイズ化することを学び、訓練されたデノイザを使用してデータ分布から新しいサンプルを生成する。 サンプルに追加される雑音のレベルを識別する,新たな自己教師型学習目標を提案する。 提案手法は逐次的および並列的な設定に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-12T03:03:50Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。