論文の概要: TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows

• arxiv url: http://arxiv.org/abs/2610.02959v1
• Date: Fri, 02 Oct 2026 07:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.272556
• Title: TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
• Title（参考訳）: TerraVis:MLLMワークフローによるテキスト・画像生成における世界規模の視覚的一貫性の評価
• Abstract要約: 生成した画像における世界空間の視覚的一貫性を評価するためのフレームワークTerraVisを紹介する。 TerraVisは、オブジェクト、インタラクション、シーンレベルの障害にまたがる世界一貫性違反の構造化された分類を定義する。 ベンチマークの結果,従来の測定値で高い性能が得られるモデルでは,相反する現象が生じる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 16.795893926786974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text-to-image models have made substantial progress in photorealism, aesthetics, and text-image alignment. Yet visually appealing images can still violate real-world plausibility, exhibiting malformed object structures, impossible anatomy, physically implausible interactions, or inconsistent spatial relationships. Such failures are not well captured by existing fidelity, aesthetics, preference, or alignment metrics. To address this gap, we introduce TerraVis, a framework for evaluating world-grounded visual consistency in generated images. TerraVis defines a structured taxonomy of world-consistency violations spanning object-, interaction-, and scene-level failures, and employs a multi-stage evaluation framework to identify and quantify them. Given an image, TerraVis first uses an MLLM to assess its eligibility for evaluation, then detects violations across 18 taxonomy-defined types and classifies them as minor or major to derive an overall world-consistency score. Across diverse open-source and proprietary text-to-image models on two widely used benchmarks, TerraVis achieves the strongest correlation with human judgments of world consistency among existing metrics. Our benchmark results further show that models that achieve strong performance on conventional metrics can still exhibit substantial world-consistency failures. These findings highlight world consistency as a complementary evaluation dimension and demonstrate that TerraVis enables systematic quantification, diagnosis, and comparison of such failures. Our code is publicly available at https://github.com/ShyFoo/TerraVis.
• Abstract（参考訳）: 最近のテキスト・ツー・イメージモデルでは、フォトリアリズム、美学、テキスト・イメージアライメントが大幅に進歩している。 しかし、視覚的に魅力的である画像は、まだ現実世界の可視性に反し、不正な物体構造、不可能な解剖、物理的に不確実な相互作用、または一貫性のない空間関係を示す可能性がある。 このような失敗は、既存の忠実度、美学、嗜好、アライメントのメトリクスによってうまく捉えられません。 このギャップに対処するために、生成した画像のワールドグラウンドの視覚的一貫性を評価するフレームワークTerraVisを紹介する。 TerraVisは、オブジェクト、インタラクション、シーンレベルの障害にまたがる世界一貫性違反の構造化された分類を定義し、それらを識別し定量化するために多段階評価フレームワークを使用している。 画像から判断すると、TerraVisはまずMLLMを使用して評価の適性を評価し、次に18の分類で定義されたタイプにまたがる違反を検出し、それらをマイナーまたはメジャーに分類し、全体整合性スコアを導出する。 TerraVisは、広く使用されている2つのベンチマークで、さまざまなオープンソースおよびプロプライエタリなテキスト・ツー・イメージモデルにまたがって、既存のメトリクス間の世界の一貫性に関する人間の判断と最強の相関を達成している。 さらに,本ベンチマークの結果から,従来の測定値において高い性能を示すモデルでは,相反する大域的故障が生じる可能性が示唆された。 これらの知見は相補的な評価次元として世界整合性を強調し、TerraVisがこのような障害の体系的な定量化、診断、比較を可能にすることを示した。 私たちのコードはhttps://github.com/ShyFoo/TerraVis.comで公開されています。

関連論文リスト

• Is Your Driving World Model an All-Around Player? [107.28582946012818]
  We introduced WorldLens, a unified benchmark that measure world-model fidelity across the full spectrum。 6つの代表モデルについて評価したところ、既存のアプローチがすべての軸にわたって支配的でないことが判明した。 アルゴリズムのメトリクスを人間の知覚でブリッジするために、26,808エントリの人間注釈付き嗜好データセットであるWorldLens-26Kをコントリビュートする。
  論文  参考訳（メタデータ） (2026-05-11T17:05:49Z)
• Can Vision Foundation Models Navigate? Zero-Shot Real-World Evaluation and Lessons Learned [5.561294055181353]
  ビジュアルナビゲーションモデル(VNM)は、大規模な視覚的なデモンストレーションから学ぶことで、一般化可能なロボットナビゲーションを約束する。 室内と屋外にまたがる2つのロボットプラットフォームと5つの環境にまたがる5つの最先端VNMの現実的評価について述べる。
  論文  参考訳（メタデータ） (2026-03-26T22:04:49Z)
• SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation [62.55421542903781]
  生成された画像の空間的レイアウトを評価するために明示的に設計された検証可能な報酬モデルである textbfSpatialReward を提案する。 安定拡散とFLUXの実験により、空間的リワードをRLトレーニングに組み込むことで、空間的一貫性と全体的な生成品質が一貫して向上することが示された。
  論文  参考訳（メタデータ） (2026-03-23T17:26:35Z)
• The Perceptual Observatory Characterizing Robustness and Grounding in MLLMs [44.71703930770065]
  The Perceptual Observatoryは、顔マッチングやテキスト・イン・ビジョンの理解機能など、MLLMを垂直方向に特徴付けるフレームワークである。 知覚観測所はリーダーボードの精度を超えて、MLLMが摂動下での知覚的接地と関係構造をどのように保存するかについての洞察を得る。
  論文  参考訳（メタデータ） (2025-12-17T20:22:23Z)
• WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World [100.68103378427567]
  エージェントは現実的な4D駆動環境を合成し、説得力があるように見えるが、物理的または行動的に失敗することが多い。 モデルがどのように構築され、理解され、その生成された世界の中でどのように振る舞うかを評価するフルスペクトルベンチマークであるWorldLensを紹介します。 さらに、数値的なスコアとテキストの合理性を備えた人間の注釈付きビデオの大規模データセット WorldLens-26K を構築し、WorldLens-Agent を開発した。
  論文  参考訳（メタデータ） (2025-12-11T18:59:58Z)
• Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
  我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。 提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。 本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-26T11:53:59Z)
• REOBench: Benchmarking Robustness of Earth Observation Foundation Models [48.24281482353377]
  REOBenchは、地球観測基盤モデルの堅牢性を評価するための最初の総合的なベンチマークである。 マスク付き画像モデリング、コントラスト学習、視覚言語事前学習パラダイムを用いて訓練された幅広いモデルの体系的評価を行う。 その結果, 既存の地球観測基盤モデルでは, 入力汚損に晒された場合, 顕著な性能劣化がみられた。
  論文  参考訳（メタデータ） (2025-05-22T15:34:50Z)
• AerialMegaDepth: Learning Aerial-Ground Reconstruction and View Synthesis [57.249817395828174]
  本研究では,3次元都市規模のメッシュからの擬似合成レンダリングと,実地レベルでのクラウドソース画像を組み合わせたスケーラブルなフレームワークを提案する。 擬似合成データは、幅広い空中視点をシミュレートする一方、実際のクラウドソース画像は、地上レベルの画像の視覚的忠実度を改善するのに役立つ。 このハイブリッドデータセットを使用して、いくつかの最先端のアルゴリズムを微調整し、実世界のゼロショット地上作業において大幅な改善を実現する。
  論文  参考訳（メタデータ） (2025-04-17T17:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。