論文の概要: Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist

• arxiv url: http://arxiv.org/abs/2606.31711v1
• Date: Tue, 30 Jun 2026 14:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.25061
• Title: Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist
• Title（参考訳）: Arena-T2I Hard: 依存性を意識したチェックリストによるベンチマークと信条の改善
• Abstract要約: 既存の忠実度ベンチマークは単純な原子命令に依存している。 本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。 本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
• 参考スコア（独自算出の注目度）: 69.81453995715673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Faithfulness -- how precisely a generated image aligns with its prompt -- is increasingly central to the real-world utility of text-to-image (T2I) models. Existing faithfulness benchmarks, however, rely on simple atomic instructions, on which top-tier systems already achieve near-perfect scores. As T2I models enter creative workflows, users issue multi-faceted requests combining intricate spatial relationships, stylistic constraints, and complex text rendering. In this setting, a single binary VLM-judge score no longer captures which specific constraints the model fails to satisfy. We introduce Arena-T2I Hard, a 310-prompt stress benchmark drawn from real arena T2I logs, with approximately 30 decomposed yes/no constraints per prompt spanning six categories, including text rendering. The strongest closed-source system we evaluate reaches 0.855 with a 33~pp performance gap across 11 systems, demonstrating substantial discriminative power. Moreover, high public-arena rankings fail to predict faithfulness, confirming that holistic Bradley-Terry (BT) preference scores prioritize aesthetics over fine-grained prompt adherence. We propose a dependency-aware checklist reward that decomposes each prompt into a DAG of yes/no questions and zeroes descendants of failed parents, turning faithfulness into a per-constraint training signal. Combined with a BT aesthetic reward via group-decoupled normalization (GDPO), which standardizes each reward within its rollout group so neither collapses, the recipe attains a strictly better faithfulness-aesthetics trade-off on SD3.5-Medium and FLUX.1-dev under MMRB2 pairwise comparisons than every single-reward, naive weighted-sum, or 4-reward BT-ensemble baseline.
• Abstract（参考訳）: 生成した画像がそのプロンプトとどのように正確に一致しているかというFithfulnessは、テキスト・ツー・イメージ(T2I)モデルの現実的な実用性の中心になりつつある。 しかし、既存の忠実度ベンチマークは単純な原子インストラクションに依存しており、上位層システムはすでにほぼ完全なスコアを達成している。 T2Iモデルがクリエイティブワークフローに入ると、ユーザーは複雑な空間関係、スタイリスティックな制約、複雑なテキストレンダリングを組み合わせた多面的な要求を発行する。 この設定では、単一のバイナリVLM-judgeスコアは、モデルが満足できない特定の制約をキャプチャしない。 実アリーナT2Iログから抽出した310プロンプトのストレスベンチマークであるArena-T2I Hardを導入し、テキストレンダリングを含む6つのカテゴリにまたがるプロンプト毎に約30の制約を分解した。 評価した最強のクローズドソースシステムは、11のシステム間で33〜ppのパフォーマンスギャップを持つ0.855に達し、実質的な識別力を示す。 さらに、高水準のパブリック・アリーナ・ランキングは忠実さを予測できず、総体的なブラッドリー・テリー(BT)の選好スコアが、きめ細かいプログレッシブ・アジェンスよりも美学を優先していることを確認する。 本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性を考慮したチェックリスト報酬を提案する。 グループ分離正規化(GDPO)によるBT美的報酬は、ロールアウトグループ内の各報酬を標準化し、崩壊しないよう、SD3.5-Medium と FLUX.1-dev をMMRB2 のペアワイド比較において、単一リワード、ナイーブ重み付きサム、または 4-リワードBT-アンサンブルベースラインよりも厳密に忠実な美的トレードオフを得る。

関連論文リスト

• OmniJudge or OmniBias? Diagnosing Multimodal Judges through Balanced, Decoupled Lenses [15.379006872674106]
  D3-Omniは、微粒なマルチモーダル理解を診断するためのバランスのとれた、分離されたベンチマークである。 次元にわたって情報を漏らすような出力を再生成するのではなく、正の正の種子を固定し、負を導出する。 結果として得られるD3設計はデュアルバランスであり、負のサンプル不足とディメンション毎のラベルの不均衡を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2026-08-25T07:18:35Z)
• TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
  大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
  論文  参考訳（メタデータ） (2026-05-17T18:07:08Z)
• DynT2I-Eval: A Dynamic Evaluation Framework for Text-to-Image Models [78.62380562116135]
  テキスト・トゥ・イメージ(T2I)モデルのための完全に自動化された動的評価フレームワークであるDynT2I-Evalを提案する。 長い形式の記述から構造化された視覚意味空間を構築し、プロンプトを制御可能な次元に分解する。 DynT2I-Evalは、テキストアライメント、知覚品質、美学のモデル性能を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:53:51Z)
• FIGROTD: A Friendly-to-Handle Dataset for Image Guided Retrieval with Optional Text [3.6723140587841656]
  Image-Guided Retrieval with Optional Text (IGROT)は、視覚検索(テキストなし)と合成検索(テキストなし)を統一する。 FIGROTDは軽量だが高品質なIGROTデータセットで、16,474個のトレーニングトレーレットと1,262個のテストトレーレットを備える。 FIGROTDでトレーニングされたVaGFeMは9つのベンチマークで競合し、CIRCOで34.8 mAP@10、Sketchyで75.7 mAP@200に達した。
  論文  参考訳（メタデータ） (2025-11-27T09:18:56Z)
• Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play? [63.66192651248858]
  T2I-CoReBenchは、T2Iモデルの合成能力と推論能力の両方を評価する包括的で複雑なベンチマークである。 実世界の複雑さによって引き起こされる複雑さを増大させるために、我々は各プロンプトをより高い組成密度でキュレートする。 統計学では、我々のベンチマークは1080の挑戦的なプロンプトと約1,500のチェックリスト質問で構成されている。
  論文  参考訳（メタデータ） (2025-09-03T17:58:12Z)
• TIIF-Bench: How Does Your T2I Model Follow Your Instructions? [7.13169573900556]
  本稿では, TIIF-Bench (Text-to-Image Instruction following Benchmark) を提案する。 TIIF-Benchは、複数の次元に沿って組織された5000のプロンプトから構成されており、難易度と複雑さの3つのレベルに分類される。 T2Iモデルのテキスト合成精度と美的コヒーレンスを評価するために,テキストレンダリングとスタイル制御という2つの重要な属性が導入された。
  論文  参考訳（メタデータ） (2025-06-02T18:44:07Z)
• Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
  T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。 これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。 最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
  論文  参考訳（メタデータ） (2024-04-05T17:57:16Z)
• Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
  本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。 提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
  論文  参考訳（メタデータ） (2023-08-19T05:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。