論文の概要: LogicVal:A Logic-Formalized Benchmark for Constraint Satisfaction in Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2610.24051v1
- Date: Fri, 16 Oct 2026 16:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:21:05.867624
- Title: LogicVal:A Logic-Formalized Benchmark for Constraint Satisfaction in Text-to-Image Generation
- Title(参考訳): LogicVal:テキスト・画像生成における制約満足度のための論理形式ベンチマーク
- Abstract要約: テキスト・ツー・イメージ(T2I)生成モデルは、自然言語のプロンプトから高忠実度画像を生成する上で大きな進歩を遂げている。
本稿では,制約満足度問題としてT2I評価の新たな視点を紹介する。
我々は, 単一対象属性から多対象関係制約まで, 9種類の制約にまたがる4つの最先端T2Iモデルを評価する。
- 参考スコア(独自算出の注目度): 0.8156494881838946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-Image (T2I) generative models have made significant progress in producing high-fidelity images from natural-language prompts. Alongside this progress, numerous benchmarks have been developed to evaluate capabilities such as attribute binding, numeracy, spatial reasoning, and commonsense reasoning. In this work, we propose a new perspective on T2I evaluation by casting it as a constraint-satisfaction problem. We introduce a logical framework that formally specifies the benchmark domain, including objects, attributes, and relations, alongside the constraints that generated images must satisfy. We evaluated four state-of-the-art T2I models across 9 classes of constraints ranging from a single-object-attribute to multi-object relationships constraints involving logical operators ($\forall, \exists, count, \rightarrow$). Our results reveal a substantial gap between single-object and complex conditional multi-object relationship constraint classes, with the best-performing model achieving 98% accuracy on the former and just 53% on the latter. We assess compositional generalisation, finding that the best-performing model`s accuracy drops from 84% on single-constraint prompts to 20% when satisfying multiple constraints simultaneously. Identifying unsatisfiable constraints is also challenging, with the best model correctly recognizing only 23% of such prompts. Building on this framework, we introduce \textbf{LogicVal}, an evaluation methodology that combines neural visual detection with logical reasoning to assess constraint satisfaction in generated images. On CLEVR, LogicVal achieves ROC-AUC scores ranging from 0.88 to 0.98, indicating strong alignment with human judgments. These findings underscore the value of logic-based evaluation for characterizing T2I model capabilities and limitations.
- Abstract(参考訳): テキスト・ツー・イメージ(T2I)生成モデルは、自然言語のプロンプトから高忠実度画像を生成する上で大きな進歩を遂げている。
この進歩とともに、属性バインディング、数値化、空間的推論、コモンセンス推論などの機能を評価するために、多数のベンチマークが開発されている。
本研究では,制約満足度問題として,T2I評価の新たな視点を提案する。
生成した画像が満たさなければならない制約に加えて、オブジェクト、属性、関係を含むベンチマークドメインを正式に指定する論理的フレームワークを導入します。
我々は,論理演算子を含む一対象属性から多対象関係制約($,$,$,$,$,$)まで,9種類の制約の4つの最先端T2Iモデルを評価した。
その結果, 単一対象と複雑条件付き多対象関係制約クラスの間には, 前者では98%, 後者では53%の差が認められた。
複数の制約を同時に満たすと,最高性能モデルの精度が84%から20%に低下することがわかった。
満足できない制約を識別するのも難しく、最良のモデルはそのようなプロンプトの23%しか正しく認識していない。
この枠組みに基づいて,ニューラルビジュアル検出と論理的推論を組み合わせた評価手法である「textbf{LogicVal}」を導入し,生成した画像の制約満足度を評価する。
CLEVRでは、LogicValは0.88から0.98までのLOC-AUCスコアを達成しており、人間の判断と強く一致している。
これらの結果は、T2Iモデルの能力と限界を特徴づけるための論理に基づく評価の価値を裏付けるものである。
関連論文リスト
- Redefining Quality Criteria and Distance-Aware Score Modeling for Image Editing Assessment [28.60763581601123]
IEQAはマルチモーダル入力と多次元評価よりも複雑な推論を必要とする。
本研究では,評価基準とスコア表現を共同で学習する統合フレームワークであるDefine-and-Score Image Editing Quality Assessment (DS-IEQA)を提案する。
2026 NTIRE X-AIGC Quality Assessment Track 2の4位にランクインした。
論文 参考訳(メタデータ) (2026-04-14T01:05:41Z) - Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play? [63.66192651248858]
T2I-CoReBenchは、T2Iモデルの合成能力と推論能力の両方を評価する包括的で複雑なベンチマークである。
実世界の複雑さによって引き起こされる複雑さを増大させるために、我々は各プロンプトをより高い組成密度でキュレートする。
統計学では、我々のベンチマークは1080の挑戦的なプロンプトと約1,500のチェックリスト質問で構成されている。
論文 参考訳(メタデータ) (2025-09-03T17:58:12Z) - OneIG-Bench: Omni-dimensional Nuanced Evaluation for Image Generation [23.05106664412349]
テキスト・ツー・イメージ(T2I)モデルは、テキスト・プロンプトに整合した高品質な画像を生成する上で大きな注目を集めている。
OneIG-Benchは、T2Iモデルを複数の次元で評価するためのベンチマークフレームワークである。
論文 参考訳(メタデータ) (2025-06-09T17:50:21Z) - OVERT: A Benchmark for Over-Refusal Evaluation on Text-to-Image Models [91.55634905861827]
Over-refusalは$textitover-refusal$として知られる現象で、T2Iモデルの実用性を減らす。
我々は,OVERT(textbfOVE$r-$textbfR$efusal evaluation on $textbfT$ext-to-image model)を提案する。
論文 参考訳(メタデータ) (2025-05-27T15:42:46Z) - T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。
提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文 参考訳(メタデータ) (2025-05-23T13:44:59Z) - LR^2Bench: Evaluating Long-chain Reflective Reasoning Capabilities of Large Language Models via Constraint Satisfaction Problems [7.379503137362718]
LR$2$Benchは,Long-chain Reflective Reasoning機能を評価するために設計された新しいベンチマークである。
評価の結果,DeepSeek-R1 や OpenAI o1-preview のような先進的な LRM でさえ,LR$2$Bench のタスクと競合することが明らかとなった。
論文 参考訳(メタデータ) (2025-02-25T04:51:17Z) - Benchmarking Spatial Relationships in Text-to-Image Generation [102.62422723894232]
本研究では,オブジェクト間の空間的関係を正確に生成するテキスト・ツー・イメージモデルについて検討する。
画像中にテキストで記述された空間関係がどれだけ正確に生成されるかを測定する評価指標であるVISORを提案する。
我々の実験では、最先端のT2Iモデルは高画質であるが、複数のオブジェクトを生成できる能力や、それらの間の空間的関係が著しく制限されていることが判明した。
論文 参考訳(メタデータ) (2022-12-20T06:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。