論文の概要: SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2603.22228v1
- Date: Mon, 23 Mar 2026 17:26:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.811245
- Title: SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
- Title(参考訳): 空間リワード:テキスト・画像生成における微粒化空間整合性に対する検証可能な空間リワードモデリング
- Authors: Sashuai Zhou, Qiang Zhou, Junpeng Ma, Yue Cao, Ruofan Hu, Ziang Zhang, Xiaoda Yang, Zhibin Wang, Jun Song, Cheng Yu, Bo Zheng, Zhou Zhao,
- Abstract要約: 生成された画像の空間的レイアウトを評価するために明示的に設計された検証可能な報酬モデルである textbfSpatialReward を提案する。
安定拡散とFLUXの実験により、空間的リワードをRLトレーニングに組み込むことで、空間的一貫性と全体的な生成品質が一貫して向上することが示された。
- 参考スコア(独自算出の注目度): 62.55421542903781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in text-to-image (T2I) generation via reinforcement learning (RL) have benefited from reward models that assess semantic alignment and visual quality. However, most existing reward models pay limited attention to fine-grained spatial relationships, often producing images that appear plausible overall yet contain inaccuracies in object positioning. In this work, we present \textbf{SpatialReward}, a verifiable reward model explicitly designed to evaluate spatial layouts in generated images. SpatialReward adopts a multi-stage pipeline: a \emph{Prompt Decomposer} extracts entities, attributes, and spatial metadata from free-form prompts; expert detectors provide accurate visual grounding of object positions and attributes; and a vision-language model applies chain-of-thought reasoning over grounded observations to assess complex spatial relations that are challenging for rule-based methods. To more comprehensively evaluate spatial relationships in generated images, we introduce \textbf{SpatRelBench}, a benchmark covering object attributes, orientation, inter-object relations, and rendered text placement. Experiments on Stable Diffusion and FLUX show that incorporating SpatialReward into RL training consistently improves spatial consistency and overall generation quality, with results aligned more closely to human judgments. These findings indicate that verifiable reward models hold considerable potential for enabling more accurate and controllable optimization in text-to-image generation models.
- Abstract(参考訳): 強化学習(RL)によるテキスト・ツー・イメージ(T2I)生成の最近の進歩は、意味的アライメントと視覚的品質を評価する報酬モデルから恩恵を受けている。
しかし、既存の報酬モデルの多くは、細かな空間的関係に限定的な注意を払っており、多くの場合、全体としては可視であるが、対象位置決めの不正確さを含む画像を生成する。
本研究では,生成した画像の空間的レイアウトを評価するために明示的に設計された検証可能な報酬モデルであるtextbf{SpatialReward}を提案する。
SpaceRewardはマルチステージパイプラインを採用している: \emph{Prompt Decomposer}は、自由形式のプロンプトからエンティティ、属性、空間メタデータを抽出し、専門家検出器はオブジェクトの位置と属性の正確な視覚的グラウンドを提供する。
生成画像における空間的関係をより包括的に評価するために,オブジェクト属性,向き,オブジェクト間関係,描画テキスト配置を含むベンチマークである \textbf{SpatRelBench} を導入する。
安定拡散とFLUXの実験は、SpatialRewardをRLトレーニングに組み込むことで、空間的一貫性と全体的な生成品質が向上し、その結果は人間の判断により密接に一致していることを示している。
これらの結果は、検証可能な報酬モデルが、テキスト・画像生成モデルにおいてより正確で制御可能な最適化を可能にする可能性を持っていることを示唆している。
関連論文リスト
- Enhancing Spatial Understanding in Image Generation via Reward Modeling [23.754373024995132]
本稿では,現在の画像生成モデルの空間的理解を強化する新しい手法を提案する。
本研究では,テキスト・画像生成における空間関係の精度を評価するための報奨モデルであるSpatialScoreを構築した。
論文 参考訳(メタデータ) (2026-02-27T17:59:57Z) - RL-RIG: A Generative Spatial Reasoner via Intrinsic Reflection [18.52946282633359]
RL-RIGは、リフレクションベースの画像生成のための強化学習フレームワークである。
我々は,VLMアクタにプロンプトを編集するためのReflection-GRPOと,与えられたプロンプト下での画質向上のためのイメージエディタを開発する。
実験結果から,RL-RIGは既存のオープンソースモデルよりも最大11%優れており,画像生成における空間的推論の制御が可能であることが示唆された。
論文 参考訳(メタデータ) (2026-02-23T15:39:53Z) - Why Settle for Mid: A Probabilistic Viewpoint to Spatial Relationship Alignment in Text-to-image Models [3.5999252362400993]
構成生成における主要な問題は、空間的関係の不整合である。
本研究では,テキストと画像間の2次元空間関係と3次元空間関係のアライメントを評価するための新しい評価指標を提案する。
また,T2Iモデルにおける2次元空間関係と3次元空間関係のアライメントを微調整を必要とせずに改善する推定時間であるPoSベースの生成を提案する。
論文 参考訳(メタデータ) (2025-06-29T22:41:27Z) - SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form
Layout-to-Image Generation [68.42476385214785]
本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。
SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。
また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
論文 参考訳(メタデータ) (2023-08-20T04:09:12Z) - Benchmarking Spatial Relationships in Text-to-Image Generation [102.62422723894232]
本研究では,オブジェクト間の空間的関係を正確に生成するテキスト・ツー・イメージモデルについて検討する。
画像中にテキストで記述された空間関係がどれだけ正確に生成されるかを測定する評価指標であるVISORを提案する。
我々の実験では、最先端のT2Iモデルは高画質であるが、複数のオブジェクトを生成できる能力や、それらの間の空間的関係が著しく制限されていることが判明した。
論文 参考訳(メタデータ) (2022-12-20T06:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。