論文の概要: Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2601.20354v2
• Date: Thu, 29 Jan 2026 08:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 14:13:20.055557
• Title: Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models
• Title（参考訳）: テキスト・画像モデルの空間的知能のベンチマーク
• Authors: Zengbin Wang, Xuecai Hu, Yong Wang, Feng Xiong, Man Zhang, Xiangxiang Chu,
• Abstract要約: テキスト・ツー・イメージ(T2I)モデルは高忠実度画像の生成において顕著な成功を収めているが、複雑な空間関係の処理には失敗することが多い。 本稿では,T2Iモデルの空間的インテリジェンスを評価するための新しいベンチマークであるSpatialGenEvalを紹介する。
• 参考スコア（独自算出の注目度）: 23.6849873930169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image (T2I) models have achieved remarkable success in generating high-fidelity images, but they often fail in handling complex spatial relationships, e.g., spatial perception, reasoning, or interaction. These critical aspects are largely overlooked by current benchmarks due to their short or information-sparse prompt design. In this paper, we introduce SpatialGenEval, a new benchmark designed to systematically evaluate the spatial intelligence of T2I models, covering two key aspects: (1) SpatialGenEval involves 1,230 long, information-dense prompts across 25 real-world scenes. Each prompt integrates 10 spatial sub-domains and corresponding 10 multi-choice question-answer pairs, ranging from object position and layout to occlusion and causality. Our extensive evaluation of 21 state-of-the-art models reveals that higher-order spatial reasoning remains a primary bottleneck. (2) To demonstrate that the utility of our information-dense design goes beyond simple evaluation, we also construct the SpatialT2I dataset. It contains 15,400 text-image pairs with rewritten prompts to ensure image consistency while preserving information density. Fine-tuned results on current foundation models (i.e., Stable Diffusion-XL, Uniworld-V1, OmniGen2) yield consistent performance gains (+4.2%, +5.7%, +4.4%) and more realistic effects in spatial relations, highlighting a data-centric paradigm to achieve spatial intelligence in T2I models.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルは高忠実度画像の生成において顕著な成功を収めてきたが、しばしば複雑な空間的関係(例えば、空間知覚、推論、相互作用)を扱うことに失敗する。 これらの重要な側面は、ショートまたはインフォメーションスパースなプロンプト設計のため、現在のベンチマークによって見落とされがちである。 本稿では,T2Iモデルの空間的インテリジェンスを体系的に評価する新しいベンチマークであるSpatialGenEvalを紹介する。 それぞれのプロンプトは10の空間サブドメインと、オブジェクトの位置やレイアウトからオクルージョンや因果関係まで、対応する10の複数選択質問応答ペアを統合している。 21種類の最先端モデルの広範囲な評価により,高次空間推論が主要なボトルネックであることが明らかとなった。 2)情報密度設計の実用性は単純な評価以上のものであることを示すため,SpatialT2Iデータセットを構築した。 15,400のテキストイメージ対と書き直しプロンプトを備えており、情報密度を維持しながら画像の一貫性を確保する。 現在の基礎モデル(例えば、安定拡散XL、Uniworld-V1、OmniGen2)における微調整の結果は、一貫した性能向上(+4.2%、+5.7%、+4.4%)と空間的関係におけるより現実的な影響をもたらし、T2Iモデルにおける空間知性を達成するためのデータ中心のパラダイムを強調している。

関連論文リスト

• ESPLoRA: Enhanced Spatial Precision with Low-Rank Adaption in Text-to-Image Diffusion Models for High-Definition Synthesis [45.625062335269355]
  拡散モデルはテキスト・ツー・イメージ(T2I)合成に革命をもたらし、高品質でフォトリアリスティックな画像を生成する。 しかし、テキストプロンプトで記述された空間的関係を適切に表現するのに依然として苦労している。 我々のアプローチは、LAION-400Mから精密に抽出され、合成された空間的明示的なプロンプトのキュレートされたデータセットの上に構築されている。 生成モデルにおける空間整合性を高めるために,低ランク適応に基づくフレキシブルな微調整フレームワークであるESPLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-18T15:21:37Z)
• CoMPaSS: Enhancing Spatial Understanding in Text-to-Image Diffusion Models [18.89863162308386]
  CoMPaSSはT2Iモデルにおける空間的理解を強化する汎用フレームワークである。 まずSCOP(Spatial Constraints-Oriented Pairing)データエンジンでデータのあいまいさに対処する。 これらの先行技術を活用するため、CoMPaSSはToken ENcoding ORdering (TENOR)モジュールも導入している。
  論文  参考訳（メタデータ） (2024-12-17T18:59:50Z)
• Evaluating the Generation of Spatial Relations in Text and Image Generative Models [4.281091463408283]
  空間関係は自然に空間的に理解される。 我々は、LLM出力を画像に変換するアプローチを開発し、T2IモデルとLLMの両方を評価する。 驚くべきことに、T2Iモデルは印象的な画像生成能力にもかかわらず、サブパー性能しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T09:30:02Z)
• REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
  視覚言語モデルには、空間的関係を正しく推論する能力がない。 視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。 本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-05T04:51:46Z)
• Getting it Right: Improving Spatial Consistency in Text-to-Image Models [103.52640413616436]
  現在のテキスト・トゥ・イメージ(T2I)モデルにおける重要な欠点の1つは、テキスト・プロンプトで指定された空間的関係を忠実に追従するイメージを一貫して生成できないことである。 4つの広く使用されている視覚データセットから600万の画像を再キャプチャすることで、空間的に焦点を絞った最初の大規模データセットであるSPRIGHTを作成します。 対象物を多数含む画像のトレーニングは,500枚の画像の微調整により,T2I-CompBenchの空間スコア0.2133の最先端結果を含む空間的整合性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-01T15:55:25Z)
• Benchmarking Spatial Relationships in Text-to-Image Generation [102.62422723894232]
  本研究では,オブジェクト間の空間的関係を正確に生成するテキスト・ツー・イメージモデルについて検討する。 画像中にテキストで記述された空間関係がどれだけ正確に生成されるかを測定する評価指標であるVISORを提案する。 我々の実験では、最先端のT2Iモデルは高画質であるが、複数のオブジェクトを生成できる能力や、それらの間の空間的関係が著しく制限されていることが判明した。
  論文  参考訳（メタデータ） (2022-12-20T06:03:51Z)
• SIRI: Spatial Relation Induced Network For Spatial Description Resolution [64.38872296406211]
  言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。 提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。 提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
  論文  参考訳（メタデータ） (2020-10-27T14:04:05Z)
• Spatially Aware Multimodal Transformers for TextVQA [61.01618988620582]
  我々はTextVQAタスク、すなわち画像中のテキストを推論して質問に答えるタスクについて研究する。 既存のアプローチは空間関係の使用に限られている。 空間認識型自己注意層を提案する。
  論文  参考訳（メタデータ） (2020-07-23T17:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。