論文の概要: Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

• arxiv url: http://arxiv.org/abs/2608.24112v1
• Date: Tue, 25 Aug 2026 06:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.829379
• Title: Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing
• Title（参考訳）: スケーラブルな質問中心のテキスト・トゥ・イメージ評価:信頼性ランキング、細粒度診断、コスト・アウェア・ルーティング
• Abstract要約: QC-T2I-Benchは、オープンプロンプトを属性付き原子質問に変換する質問中心のフレームワークである。 我々は、複数のオープンソースT2Iモデルを英語と中国語のプロンプトで評価する。
• 参考スコア（独自算出の注目度）: 9.025294637245661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern text-to-image (T2I) models often have similar total scores but different strengths, making practical selection difficult. Fine-grained benchmarks decompose prompts into questions, yet often return them to prompt scores and fixed categories, weakening attribution and ignoring complexity. Related requirements are also scored separately or as one total, obscuring basic versus compositional failure. We present QC-T2I-Bench, a question-centric framework that converts open prompts into attributed atomic questions and organizes their dependencies with Davidsonian Scene Graphs (DSGs). We use hierarchy-constrained question aggregation to exclude downstream questions after a prerequisite fails and to prevent simple and complex prompts from receiving the same total weight. We then use the DSG structure to measure joint success within prompts and compare repeated entities across prompts, separating basic realization failures from failures under additional requirements. We evaluate multiple open-source T2I models on English and Chinese prompts. The resulting question-level evidence supports reliable ranking and fine-grained diagnosis: joint completion falls from 80.7\% for components with two capabilities to 37.2\% for those with seven or more. Finally, we reuse the same records for training-free routing; our cost-aware router matches ERNIE's 89.51-point estimate with 21.3\% less GPU-s/MP.
• Abstract（参考訳）: 現代のテキスト・トゥ・イメージ(T2I)モデルは、しばしば同じスコアを持つが、強度が異なるため、実用的な選択が困難である。 細かいベンチマークはプロンプトを質問に分解するが、しばしばスコアと固定されたカテゴリに返却し、属性を弱め、複雑さを無視する。 関連する要件は別々に、あるいは1つの合計として、基本と構成上の失敗を隠蔽する。 提案するQC-T2I-Benchは,オープンプロンプトを属性付きアトミックな質問に変換し,その依存関係をDavidsonian Scene Graphs (DSGs) で整理する,質問中心のフレームワークである。 我々は、階層制約された質問集約を用いて、前提条件が失敗した後、下流の質問を除外し、単純で複雑なプロンプトが同じ重みを受けるのを防ぐ。 次に、DSG構造を用いて、プロンプト内の共同成功を計測し、プロンプト間の繰り返しエンティティを比較し、追加の要件の下で障害から基本的な実現失敗を分離する。 我々は、複数のオープンソースT2Iモデルを英語と中国語のプロンプトで評価する。 2つの機能を持つコンポーネントのジョイント完了率は80.7\%から7以上のコンポーネントの37.2\%に低下する。 ERNIEの89.51ポイント推定値とGPU-s/MPを21.3\%削減する。

関連論文リスト

• Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
  既存の忠実度ベンチマークは単純な原子命令に依存している。 本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。 本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
  論文  参考訳（メタデータ） (2026-06-30T14:17:05Z)
• The Reasoning Bottleneck in Graph-RAG: Structured Prompting and Context Compression for Multi-Hop QA [4.190399245544758]
  グラフRAGシステムは、文書を知識グラフにインデックス化することで、強力なマルチホップ質問応答を実現するが、強力な検索は強力な回答を保証しない。 検索された文脈では77%から91%の質問が金の答えを持っているが、精度は35%から78%に過ぎず、エラーの73%から84%が失敗の原因となっている。 i) SPARQLチェーン・オブ・シークレット・プロンプトは,質問をエンティティ・リレーショナル・コンテキストと整合したトリプル・パターンのクエリに分解し,(ii)グラフウォーク圧縮を行う。
  論文  参考訳（メタデータ） (2026-03-14T17:29:13Z)
• MDER-DR: Multi-Hop Question Answering with Entity-Centric Summaries [2.756584457554517]
  Map-Disambiguate-Enrich-Reduce (MDER)はコンテキスト由来の3重記述を生成し、エンティティレベルの要約と統合する。 Decompose-Resolve (DR)は、ユーザクエリを解決可能なトリプルに分解し、知識グラフに格納する。 MDERとDRはLLM駆動のQAパイプラインを形成し、スパース、不完全、複雑なリレーショナルデータに対して堅牢である。
  論文  参考訳（メタデータ） (2026-03-11T18:38:44Z)
• GRADE: Generating multi-hop QA and fine-gRAined Difficulty matrix for RAG Evaluation [5.002953635224383]
  Retrieval-Augmented Generation (RAG) システムは知識集約型NLPタスクに広く採用されている。 現在の評価は、実世界のシナリオで必要とされる構造的な複雑さと多段階の推論を見落としていることが多い。 タスクの難易度を2次元でモデル化する新しい評価フレームワークであるtextscGRADEを提案する。
  論文  参考訳（メタデータ） (2025-08-23T11:26:41Z)
• Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation [64.64849950642619]
  テキスト・ツー・イメージ・モデルを評価するための形式的意味論にインスパイアされた評価フレームワークを開発する。 Davidsonian Scene Graph (DSG) が依存性グラフにまとめられた原子的およびユニークな質問を生成することを示す。 また,1060個のプロンプトを含むオープンソースの評価ベンチマークDSG-1kを提案する。
  論文  参考訳（メタデータ） (2023-10-27T16:20:10Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• QRelScore: Better Evaluating Generated Questions with Deeper Understanding of Context-aware Relevance [54.48031346496593]
  我々は、$underlinetextbfRel$evance評価指標のコンテキスト対応評価指標である$textbfQRelScore$を提案する。 BERTやGPT2のような既製の言語モデルに基づいて、QRelScoreは単語レベルの階層マッチングと文レベルのプロンプトベースの生成の両方を採用している。 既存の測定値と比較すると、QRelScoreは人間による判断と高い相関性を持ちながら、敵のサンプルに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-04-29T07:39:53Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。