論文の概要: Verifier Choice is a Benchmark Design Variable: Auditing Structural Counting Evaluation in Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2611.15433v1
- Date: Wed, 11 Nov 2026 13:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.145535
- Title: Verifier Choice is a Benchmark Design Variable: Auditing Structural Counting Evaluation in Text-to-Image Models
- Title(参考訳): Verifier Choice is a Benchmark Design Variable: Auditing Structure Counting Evaluation in Text-to-Image Models
- Abstract要約: 我々は,自動ベンチマークスコアが画像生成装置の特性,即時分布,検証器,検証器使用プロトコル,スコアリングルールの性質であり,生成装置のみではないと主張している。
7つの計数対象に対して検証器中心の監査スイートを構築する。
- 参考スコア(独自算出の注目度): 2.2444890325670905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic evaluation is now central to text-to-image benchmarking, but the verifier that converts generated images into scores is often treated as an implementation detail. We argue that this is unsafe: an automatic benchmark score is a property of the image generator, prompt distribution, verifier, verifier-use protocol, and scoring rule, not of the generator alone. We study this issue in structural counting, a controlled setting where human-visible counts can be audited. We construct a verifier-centric audit suite over seven counting objects: cell phones, chairs, and traffic lights for object counting, and clover leaflets, dresser drawer fronts, power-strip sockets, and turbine blades for substructure counting. Across 6,240 generated images from Qwen-Image-2512 and FLUX.2-dev, we compare open MLLM verifiers under count-only, reject-aware, zero-shot and few-shot protocols, plus TIFA-like target queries, a detector baseline, and frontier closed-model checks on two hard objects. On a balanced 2,280-image evaluation split, aggregate score matching can coexist with image-level disagreement, and verifier-use protocols and generator distributions change the measured reliability. Every verifier-protocol configuration also shrinks the human score difference between the two generators, by 7.5-25.0 pp, and with a third generator, Z-Image, all four tested protocols reverse the human ordering of Z-Image and FLUX.2-dev on our fixed prompt suite. GPT-5.5 and Claude Opus 4.7 checks do not remove the failure modes: GPT-5.5 still has only 59.92% clover valid-count fidelity, while Claude Opus 4.7 has lower same-slice agreement ($κ=0.432$). We propose reporting automatic benchmark scores with a factorized verifier reliability profile: aggregate score gap, image-level agreement, generator-comparison distortion, valid-image count fidelity, rejection behavior, output compliance, and directional bias.
- Abstract(参考訳): 現在、自動評価はテキスト・ツー・イメージ・ベンチマークの中心となっているが、生成した画像をスコアに変換する検証器は実装の詳細として扱われることが多い。
自動ベンチマークスコアは、イメージジェネレータの特性、即時配布、検証、検証プロトコル、およびスコアリングルールであり、ジェネレータだけではありません。
本研究では,この課題を,人間の目に見えるカウントを監査できる制御された環境である構造的カウントにおいて検討する。
携帯電話, 椅子, 信号灯, クローバーリーフレット, ドレッサードローダフロント, パワーストリップソケット, サブ構造カウント用のタービンブレードの7つの計数対象に対して検証器中心の監査スイートを構築した。
Qwen-Image-2512 と FLUX.2-dev から生成された6,240 個の画像に対して、カウントオンリー、リジェクションアウェア、ゼロショット、および少数ショットプロトコルによるオープンMLLM検証と、TIFA のようなターゲットクエリ、検出器ベースライン、および2つのハードオブジェクト上のフロンティアクローズドモデルチェックを比較した。
バランスの取れた2,280イメージの評価分割では、アグリゲーションスコアマッチングは画像レベルの不一致と共存し、検証プロトコルとジェネレータ分布は測定された信頼性を変化させる。
検証器とプロトコールの構成はすべて、2つのジェネレータ間のスコア差を7.5-25.0ppに縮小し、第3のジェネレータであるZ-Imageでは、4つのテストされたプロトコルはすべて、固定プロンプトスイート上のZ-ImageとFLUX.2-devの人間の順序を反転させる。
GPT-5.5とClaude Opus 4.7のチェックは、障害モードを削除しない。
本稿では, スコアギャップ, 画像レベルの一致, ジェネレータ・コンセンサス歪み, 有効回数の忠実度, 拒否動作, 出力コンプライアンス, 方向性バイアスなど, 因子化検証器の信頼性プロファイルによる自動ベンチマークスコアの報告を提案する。
関連論文リスト
- Verifier-Guided Self-Consistency: Test-Time Reasoning with Imperfect Generators and Verifiers [52.37497193871553]
大規模言語モデルは、多くの多段階推論問題を解くことができるが、その推論は脆弱である。
検証器の重み付け投票は、ジェネレータからサンプリングされた軌跡に依存しており、正しいものへのステアジェネレーションはできない。
本稿では,ステップレベルの正しさと将来予測を組み合わせた復号化フレームワークであるVerifier-Guided Self-Consistency (VGSC)を提案する。
論文 参考訳(メタデータ) (2026-11-04T14:57:04Z) - PATTS: Parallel-Aware Test-Time Scaling for Thought-Image Generation in Multimodal Discrete Diffusion LLMs [48.679227622825806]
テスト時間スケーリング(TTS)は、追加の推論時間計算をサンプリング、検索、検証に割り当てることで、生成モデルを改善する。
並列マルチモーダル離散拡散言語モデルに対するTSについて検討し、推論トークンと画像トークンを共同で復号化する。
クロスモーダル検証信号を用いて中間的な思考イメージ状態を探索する並列認識型TTSフレームワークであるPATTSを提案する。
論文 参考訳(メタデータ) (2026-11-03T14:10:56Z) - Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation [10.05347468916821]
テスト時の計算は、コード生成を改善する中心的な方法になっている。
検証者が生成元から独立して補正信号を提供するという仮定に挑戦する。
私たちはこの障害モードを検証トラップと呼んでいる。
論文 参考訳(メタデータ) (2026-10-04T12:28:10Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳(メタデータ) (2026-10-01T03:02:17Z) - From Transient Prompts to Persistent Control: Scientific Poster Generation via Recursive Semantic-Geometric Contracts [67.34566880931716]
PosterVisorは、ポスター生成を一時的なプロンプトから永続的なコントロールに移行するコントロールフレームワークである。
オーケストラは、紙と視覚資産にルーリックを置き、それらをセマンティック幾何学契約にコンパイルする。
Recursive Contract Enforcement (RCE) は証拠が現れると、ステージ全体のチェックを動的にトリガーする。
論文 参考訳(メタデータ) (2026-09-15T15:32:07Z) - SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI [0.152292571922932]
SAGEは安全第一、認可分離アーキテクチャである。
署名されたリリースマニフェスト、多様な検知器、堅牢なリスクエンベロープ、最小リスクデフォルト、アウトプットチェック、保護された監査チェーン、封じ込め、ロールバックを組み合わせる。
正式な結果は、安全性の優先、保守的な検出器境界、モノトーン放出ゲーティング、タンパー証拠記録、認可カットを確立する。
論文 参考訳(メタデータ) (2026-07-24T21:36:28Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳(メタデータ) (2026-07-02T08:36:02Z) - How Fragile Are Training-Free AI-Generated Image Detectors? A Controlled Audit of Score Direction, Preprocessing, and Compression [6.3999417080764225]
オートエンコーダ・リコンストラクションスコア(AEROBLADE-style)とノイズ摂動特徴相似スコア(RIGID-style)の2つの代表的なトレーニングフリースコアを監査する。
監査は3つの注意深い結果をもたらす。
論文 参考訳(メタデータ) (2026-06-18T17:05:51Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳(メタデータ) (2026-01-19T23:37:10Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。