論文の概要: Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2605.13223v1
• Date: Wed, 13 May 2026 09:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.936962
• Title: Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation
• Title（参考訳）: テキスト・画像生成における信頼性評価のためのスキルアライメント
• Authors: Abdelrahman Eldesokey, Merey Ramazanova, Ahmad Sait, Ansar Khangeldin, Karen Sanchez, Tong Zhang, Bernard Ghanem,
• Abstract要約: テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。 既存の評価慣行は、通常、Likert-scale や binary question answering (BQA) のような一様アノテーション機構を適用している。 我々は,T2I評価を,各評価スキルの根底にある特徴を反映したアノテーション戦略のレンズを通して再検討する。
• 参考スコア（独自算出の注目度）: 50.85337196571056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image (T2I) generation has advanced rapidly, making reliable evaluation critical as performance differences between models narrow. Existing evaluation practices typically apply uniform annotation mechanisms, such as Likert-scale or binary question answering (BQA), across heterogeneous evaluation skills, despite fundamental differences in their nature. In this work, we revisit T2I evaluation through the lens of skill-aligned annotation, where annotation strategies reflect the underlying characteristics of each evaluation skill. We systematically compare skill-aligned annotation against uniform baselines and show that it produces more consistent evaluation signals, with higher inter-annotator agreement and improved stability across models. Finally, we present an automated pipeline that instantiates the proposed evaluation protocol, enabling scalable and fine-grained evaluation with spatially grounded feedback. Our work highlights that improving the foundations of image evaluation can increase reliability and efficiency without simply scaling annotation effort. We hope this motivates further research on refining evaluation protocols as a central component of reliable model assessment.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。 既存の評価慣行は、その性質に根本的な違いがあるにもかかわらず、異種評価スキル全体にわたって、例えばLikert-scaleやバイナリ質問応答(BQA)のような一様アノテーションのメカニズムを適用するのが一般的である。 そこで本研究では,T2I評価を,各評価スキルの根本的特徴を反映したアノテーション戦略のレンズを用いて再検討する。 我々は,一様ベースラインに対するスキルアラインアノテーションを体系的に比較し,より一貫性のある評価信号が生成され,アノテータ間のアノテータの一致が向上し,モデル間の安定性が向上したことを示す。 最後に、提案した評価プロトコルをインスタンス化し、空間的フィードバックによるスケーラブルできめ細かい評価を可能にする自動パイプラインを提案する。 我々の研究は、画像評価の基礎を改良することで、単にアノテーションの労力をスケールすることなく、信頼性と効率を向上させることができることを強調している。 信頼性モデル評価の中心的構成要素として, 精錬評価プロトコルのさらなる研究が期待できる。

関連論文リスト

• LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization [5.106530060248491]
  LongSumEvalは構造化された質問応答フィードバックを通じて評価と生成を行う統合フレームワークである。 このフレームワークは、要約品質を回答可能性と質問と回答のペアの実際のアライメントとして運用する。 構造化されたフィードバックは、再トレーニングせずに自己修正を通じて、大幅な品質改善を可能にする。
  論文  参考訳（メタデータ） (2026-04-28T02:07:56Z)
• The Validity of Coreference-based Evaluations of Natural Language Understanding [3.505146496638911]
  標準のコア参照評価を分析し、それらの設計がしばしば一般化不可能な結論につながることを示す。 イベントの相対的妥当性を推測するテストシステムの能力に着目した,新たな評価手法を提案し,実装する。
  論文  参考訳（メタデータ） (2026-02-18T05:49:28Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Holistic Evaluation for Interleaved Text-and-Image Generation [19.041251355695973]
  我々はインターリーブドベンチ(InterleavedBench)について紹介する。 また、GPT-4oをベースとした強力な基準フリーメトリックであるInterleavedEvalを提案し、正確で説明可能な評価を行う。
  論文  参考訳（メタデータ） (2024-06-20T18:07:19Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。