論文の概要: Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation
- arxiv url: http://arxiv.org/abs/2608.29210v1
- Date: Sat, 29 Aug 2026 11:50:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.878416
- Title: Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation
- Title（参考訳）: Imag-Eval: テキスト・イメージ・インストラクションを解釈する言語基盤フレームワーク
- Abstract要約: Imag-Evalは、テキスト・トゥ・イメージ・モデルがどのように合成された自然言語命令を視覚的に出力するかを評価するためのベンチマークである。
我々のベンチマークは1,140のプロンプトと8,842の複合ルールで構成され、いくつかの最先端モデルで評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-Image (T2I) models have recently achieved impressive visual fidelity, yet their evaluation remains constrained by benchmarks that are often difficult to interpret and insufficiently diagnostic. Existing skill-based evaluations tend to overlook critical failure modes that strongly impact usability but fall outside standard taxonomies, such as global incoherence arising from missing parts or physically implausible configurations (e.g., floating objects). In addition, prompt difficulty is typically controlled along a single dimension; either prompt length or the number of elements to generate. To address these limitations, we introduce Imag-Eval, a controlled benchmark designed to assess how T2I models ground compositional natural-language instructions into visual outputs. Unlike prior work that conflates surface linguistic complexity with compositional difficulty, Imag-Eval explicitly seeks to disentangles these factors by independently varying both the number of instances and the combination of constraints (rules), while avoiding error propagation. This design enables fine-grained and interpretable analysis of where cross-modal instruction following fails. Our benchmark comprises 1,140 prompts and 8,842 combined rules, and we evaluate it on several state-of-the-art models. Complementing this analysis with an additional study of over 2,000 prompts from a concurrent benchmark, our results suggest that, for structured skills, compositional difficulty is primarily governed by the number of grounded rules and their binding to instances,, rather than by prompt length alone.
- Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルは近年、目覚ましい視覚的忠実さを達成しているが、その評価は、しばしば解釈が困難で不十分なベンチマークによって制約されている。
既存のスキルベースの評価は、ユーザビリティに強く影響する重要な障害モードを見落としがちだが、欠落した部分や物理的に不可解な構成(浮動小数点体など)から生じるグローバルな不整合など、標準的な分類体系から外れる傾向にある。
さらに、急激な難易度は1次元に沿って制御されるのが一般的である。
これらの制約に対処するために、T2Iがどのようにして合成自然言語命令を視覚出力にモデル化するかを評価するために設計された制御ベンチマークであるImag-Evalを導入する。
Imag-Evalは、表面言語的な複雑さと構成上の困難を混同する以前の研究とは異なり、インスタンスの数と制約の組み合わせ(ルール)を独立に変化させ、エラーの伝播を回避し、これらの要因を解き放つことを目指している。
この設計により、後続命令が失敗する箇所のきめ細かな、解釈可能な解析が可能となる。
我々のベンチマークは1,140のプロンプトと8,842の複合ルールで構成され、いくつかの最先端モデルで評価する。
この分析を,コンカレントベンチマークによる2000以上のプロンプトのさらなる研究で補完することにより,構造的スキルにおいて,コンポジションの難易度は,プロンプト長単独ではなく,基本ルールの数とインスタンスへのバインドによって支配されることが示唆された。
関連論文リスト
- DynT2I-Eval: A Dynamic Evaluation Framework for Text-to-Image Models [78.62380562116135]
テキスト・トゥ・イメージ(T2I)モデルのための完全に自動化された動的評価フレームワークであるDynT2I-Evalを提案する。
長い形式の記述から構造化された視覚意味空間を構築し、プロンプトを制御可能な次元に分解する。
DynT2I-Evalは、テキストアライメント、知覚品質、美学のモデル性能を評価する。
論文 参考訳（メタデータ） (2026-05-07T12:53:51Z) - LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models [15.955490895662384]
本稿では,言語一般化の詳細な解析のためのベンチマークであるLIBERO-Paraを紹介する。
パラフレージングにより22-52ppの連続的な性能劣化が観察された。
本稿では,意味的因子と構文的因子を用いてパラフレーズの難易度を定量化する指標PRIDEを提案する。
論文 参考訳（メタデータ） (2026-03-30T11:27:34Z) - BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models [6.36932184701021]
BaziQA-Benchmarkは、大きな言語モデルにおける記号的および時間的構成的推論を評価するための標準化されたベンチマークである。
マルチターン設定による現代言語モデルの評価を行い、時間的難易度、推論領域、推論プロトコルにおける性能変動を分析した。
結果は、モデルが常に確率を上回るが、飽和から遠く離れており、時間構成や推論順序に対する感受性が顕著であることを示している。
論文 参考訳（メタデータ） (2026-02-13T12:45:42Z) - SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis [16.02119252662268]
オープン語彙構成評価のための総合的なベンチマークであるSANEval(Spatial, Attribute, Numeracy Evaluation)を紹介する。
SANEvalは大きな言語モデル(LLM)をLLMで強化されたオープンボキャブラリオブジェクト検出器と組み合わせて、構成の付着性を頑健に評価する。
提案手法は, 属性結合, 空間関係, 数値のタスクにまたがる既存のベンチマークと, 統計的に異なる結果とスピアマンのランク相関を達成している。
論文 参考訳（メタデータ） (2026-01-30T19:10:20Z) - Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play? [63.66192651248858]
T2I-CoReBenchは、T2Iモデルの合成能力と推論能力の両方を評価する包括的で複雑なベンチマークである。
実世界の複雑さによって引き起こされる複雑さを増大させるために、我々は各プロンプトをより高い組成密度でキュレートする。
統計学では、我々のベンチマークは1080の挑戦的なプロンプトと約1,500のチェックリスト質問で構成されている。
論文 参考訳（メタデータ） (2025-09-03T17:58:12Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳（メタデータ） (2025-06-03T14:23:06Z) - A linguistically-motivated evaluation methodology for unraveling model's abilities in reading comprehension tasks [10.181408678232055]
モデルのサイズやアーキテクチャに関わらず,特定の例が常に低いスコアを得られるという直感に基づいて,理解タスクを読むための評価手法を提案する。
この複雑さを特徴付けるためのセマンティックフレームアノテーションを活用し、モデルの難易度を考慮に入れうる7つの複雑さ要因について検討する。
論文 参考訳（メタデータ） (2025-01-29T11:05:20Z) - StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。
評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。
StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
論文 参考訳（メタデータ） (2024-12-23T22:08:40Z) - SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。
本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。
本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
論文 参考訳（メタデータ） (2024-07-06T16:08:17Z) - Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。
これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。
最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
論文 参考訳（メタデータ） (2024-04-05T17:57:16Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。