論文の概要: CAST: Causal Advantage-Structured Training with Spatially Grounded Compositional Rewards for Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.39441v1
• Date: Wed, 30 Sep 2026 10:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.569161
• Title: CAST: Causal Advantage-Structured Training with Spatially Grounded Compositional Rewards for Diffusion Models
• Title（参考訳）: CAST:拡散モデルのための空間的接地型構成リワードを用いた因果アドバンテージ構造化トレーニング
• Abstract要約: 予備訓練DMのRL微調整法としてCAST(Causal Advantage-Structured Training)を提案する。 CASTで最強のオープンソースDMであるFLUX2-devとQwen-Image-2512の2つを微調整します。 ほぼ同じトレーニング予算の中で、GenEval 2プロンプトのベースモデルに対するCASTの改善はFlow-GRPOの最大3.07倍である。
• 参考スコア（独自算出の注目度）: 19.37375277387649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning has been extended to flow matching for diffusion model (DM) image generation. However, this paradigm faces three limitations: (1) Window selection. Existing methods manually set the stochastic differential equation (SDE) sampling window, i.e., the denoising steps where exploration noise is injected. We instead determine it from each model's denoising trajectory. (2) Reward saturation. Current methods rely on scoring models trained on human annotations; we find that such scores are extremely high and nearly indistinguishable on the latest SOTA open-source DMs, making advantage estimation largely ineffective. (3) Sample inefficiency. A single scalar reward collapses different failure modes into almost identical scores, leaving minimal gradient guidance for targeted improvement. To address these issues, we propose CAST (Causal Advantage-Structured Training), an RL fine-tuning method for pretrained DMs, which (1) identifies the denoising step at which each model fixes the objects and their spatial arrangement in the image and uses that timing to set the SDE window, (2) decomposes each prompt via Causal Scene Graphs (CSG) into verifiable-atoms, i.e., minimal semantic units such as an object, count, attribute, or spatial relation that can each be checked independently, and rewards each atom separately, and (3) projects the signed atom-level advantages into pixel space through teacher-forced attention and uses them to spatially weight the SDE policy objective. We fine-tune two of the strongest open-source DMs, FLUX.2-dev and Qwen-Image-2512, with CAST, and evaluate them on GenEval 2, a compositional benchmark, and on Qwen-Image-Bench for overall quality. Within almost the same training budget, CAST's improvement over the base model on the most challenging GenEval 2 prompts is up to 3.07x that of Flow-GRPO, while overall generation quality also improves.
• Abstract（参考訳）: 拡散モデル(DM)画像生成のためのフローマッチングにオンライン強化学習が拡張されている。 しかし、このパラダイムは、(1)ウィンドウ選択の3つの制限に直面している。 既存の手法では、探索ノイズを注入するデノイングステップである確率微分方程式(SDE)サンプリングウィンドウを手動で設定する。 その代わり、各モデルの認知軌道から決定する。 2)逆行性飽和。 現在の手法は人間のアノテーションに基づいて訓練されたスコアリングモデルに依存しており、これらのスコアは最新のSOTAオープンソースDMでは極めて高く、ほとんど区別がつかず、利点をほとんど効果的に評価することができない。 (3)非効率のサンプル。 単一のスカラー報酬は、異なる障害モードをほぼ同じスコアに分解し、目標とする改善のための最小限の勾配ガイダンスを残します。 これらの課題に対処するために,本研究では,(1)各モデルが画像内のオブジェクトと空間配置を固定し,そのタイミングを用いてSDEウインドウを設定する,2)各プロンプトを検証可能な原子に分解するCAST(Causal Advantage-Structured Training),(2)各オブジェクト,カウント,属性,空間関係などの最小限のセマンティック単位を独立にチェック可能な,(3)各原子を個別に付与する,(3)教師の注意によって署名された原子レベルのアドバンテージを画素空間に付与し,SDEポリシーを空間的に重み付けするために使用する,事前訓練済みDMのRL微調整手法を提案する。 最強のオープンソースDMであるFLUX.2-devとQwen-Image-2512をCASTで微調整し、総合的な品質のためにGenEval 2とQwen-Image-Benchで評価する。 ほぼ同じトレーニング予算の中で、最も挑戦的なGenEval 2プロンプトに対するCASTのベースモデルに対する改善は、Flow-GRPOの最大3.07倍であり、全体的な生成品質も改善されている。

関連論文リスト

• Preference Score Distillation: Leveraging 2D Rewards to Align Text-to-3D Generation with Human Preference [69.34278282513593]
  Preference Score Distillation (PSD) は、3Dトレーニングデータなしでテキストから3D合成を行うための最適化ベースのフレームワークである。 我々の重要な洞察は、ピクセルレベルの勾配の不整合性に起因している。 我々は、好みスコアと負のテキスト埋め込みを協調最適化するための適応戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T08:23:36Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Robust Neural Rendering in the Wild with Asymmetric Dual 3D Gaussian Splatting [18.434595756805845]
  光源内画像からの3D再構成は、一貫性のない照明条件と過渡的注意散らしのため、依然として困難な課題である。 既存の手法は、しばしば安定的で一貫した再構築を行うのに苦労する低品質なトレーニングデータを扱うための戦略に依存している。
  論文  参考訳（メタデータ） (2025-06-04T03:40:33Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本稿では,2次元監視のみを用いた3次元画像調和拡散モデルの学習フレームワークを提案する。 既存の3D生成モデルは、大規模な3Dデータセットが不足しているため、完全に3Dの監視に依存している。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。