論文の概要: DEPICT: Scoring Text-to-Image Alignment by Answer Agreement
- arxiv url: http://arxiv.org/abs/2610.03617v1
- Date: Fri, 02 Oct 2026 17:13:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.50988
- Title: DEPICT: Scoring Text-to-Image Alignment by Answer Agreement
- Title（参考訳）: DEPICT: 回答合意によるテキストと画像のアライメントの表示
- Abstract要約: 画像ベースとキャプションのみの回答との一致を期待して、固定参照回答を置き換えるトレーニングフリーのメトリクスであるDEPICTを提案する。
我々は,DECICTを3つのモデルファミリーの5つのベンチマークと11個のバックボーンで評価し,トレーニング不要の指標をすべて超越し,3つの人間相関ベンチマークのうち2つで微調整した評価器を超越していることを確認した。
- 参考スコア（独自算出の注目度）: 4.8252947999831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-text alignment is a core problem in computer vision with applications in caption evaluation, hallucination detection, data curation, and the benchmarking of text-to-image (T2I) generators. As T2I models improve, benchmarking has become demanding, requiring metrics capable of finding a series of issues like missing objects, swapped attributes, miscounts, and ignored negations. Recent work addresses this by fine-tuning evaluators on preference data or by prompting a vision-language model, either holistically with the caption or with decomposed verification questions. However, existing approaches fall short: fine-tuned metrics remain bound to one backbone and training distribution; holistic metrics miss fine-grained details; and decomposed metrics rely on a fixed-YES assumption that penalizes faithful images whenever that assumption fails. In contrast, we propose DEPICT, a training-free metric that replaces fixed reference answers with expected agreement between image-based and caption-only answers, weighting questions by how decisively the caption determines them. By replacing fixed references, our agreement rule increases negation accuracy from 19% to 88%. To recover the context lost during decomposition, DEPICT merges this agreement score with a holistic score. We evaluate DEPICT on five benchmarks and eleven backbones from three model families and find that it surpasses all training-free metrics and exceeds fine-tuned evaluators on two out of three human-correlation benchmarks.
- Abstract（参考訳）: 画像テキストアライメントは、キャプション評価、幻覚検出、データキュレーション、テキスト・トゥ・イメージ(T2I)ジェネレータのベンチマークなど、コンピュータビジョンにおける中核的な問題である。
T2Iモデルが改善されるにつれて、ベンチマークが要求されるようになり、オブジェクトの欠落、属性のスワップ、ミスカウント、無視された否定といった一連の問題を見つけることのできるメトリクスが求められている。
最近の研究は、好みのデータを微調整する評価者や、キャプションにひそかに、あるいは分解された検証質問を視覚言語モデルに促すことによって、この問題に対処している。
しかし、既存のアプローチは不足している: 微調整されたメトリクスは1つのバックボーンとトレーニングディストリビューションに縛り付けられ、総合的なメトリクスはきめ細かい詳細を見逃し、分解されたメトリクスは、その仮定が失敗するたびに忠実なイメージを罰する固定YESの仮定に依存している。
対照的に、固定基準回答を画像ベースとキャプションのみの回答の合意に置き換え、キャプションがどれだけ決定的に決定するかという問題を重み付けする訓練自由度尺度であるDEPICTを提案する。
固定参照を置き換えることで、当社の契約ルールは否定精度を19%から88%に向上させる。
分解時に失われたコンテキストを回復するために、DEPICTは、この合意スコアと全体スコアをマージする。
我々は,DECICTを3つのモデルファミリーの5つのベンチマークと11個のバックボーンで評価し,トレーニング不要の指標をすべて超越し,3つの人間相関ベンチマークのうち2つで微調整した評価器を超越していることを確認した。
関連論文リスト
- Evaluating Text-to-Image and Text-to-Video Synthesis with a Conditional Fréchet Distance [13.599366291595672]
視覚的忠実度とテキスト・プロンプトの整合性を評価する指標であるcFreDを1つのスコアにまとめる。
本研究は, テキスト条件付きモデルの系統評価において, cFreDを頑健で将来性のある指標として評価するものである。
論文 参考訳（メタデータ） (2025-03-27T17:35:14Z) - BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues [47.213906345208315]
本稿では,新たな学習可能かつ参照不要な画像キャプション指標BRIDGEを提案する。
提案手法は,既存の基準フリー評価スコアと比較して,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-07-29T18:00:17Z) - Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。
これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。
最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
論文 参考訳（メタデータ） (2024-04-05T17:57:16Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。
提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
論文 参考訳（メタデータ） (2023-08-19T05:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。