論文の概要: Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation
- arxiv url: http://arxiv.org/abs/2511.10547v1
- Date: Fri, 14 Nov 2025 01:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-14 22:53:22.921202
- Title: Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation
- Title（参考訳）: 属性型人間評価による画像生成における多様性のベンチマーク
- Authors: Isabela Albuquerque, Ira Ktena, Olivia Wiles, Ivana Kajić, Amal Rannen-Triki, Cristina Vasconcelos, Aida Nematzadeh,
- Abstract要約: 現在のテキスト・トゥ・イメージ(T2I)モデルは、しばしば多様性を欠き、均一な出力を生成する。
この研究は、T2Iモデルにおける堅牢な多様性評価の必要性に対処するフレームワークを導入する。
- 参考スコア（独自算出の注目度）: 11.51556047408882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite advances in generation quality, current text-to-image (T2I) models often lack diversity, generating homogeneous outputs. This work introduces a framework to address the need for robust diversity evaluation in T2I models. Our framework systematically assesses diversity by evaluating individual concepts and their relevant factors of variation. Key contributions include: (1) a novel human evaluation template for nuanced diversity assessment; (2) a curated prompt set covering diverse concepts with their identified factors of variation (e.g. prompt: An image of an apple, factor of variation: color); and (3) a methodology for comparing models in terms of human annotations via binomial tests. Furthermore, we rigorously compare various image embeddings for diversity measurement. Notably, our principled approach enables ranking of T2I models by diversity, identifying categories where they particularly struggle. This research offers a robust methodology and insights, paving the way for improvements in T2I model diversity and metric development.
- Abstract（参考訳）: 生成品質の進歩にもかかわらず、現在のテキスト・トゥ・イメージ(T2I)モデルは、しばしば多様性を欠き、均一な出力を生成する。
この研究は、T2Iモデルにおける堅牢な多様性評価の必要性に対処するフレームワークを導入する。
本フレームワークは,個々の概念とその関連要因を評価することによって,多様性を体系的に評価する。
主な貢献は,(1) 多様性評価のための新しい人的評価テンプレート,(2) 多様性の要因(例えば,リンゴのイメージ,変化の要因,色など)を含む多様な概念を包含するキュレートされたプロンプトセット,(3) 両面的なテストによる人間のアノテーションの観点からモデルを比較するための方法論である。
さらに,多様性測定のための様々な画像埋め込みを厳密に比較した。
特に、我々の原則によるアプローチは、多様性によるT2Iモデルのランク付けを可能にし、それらが特に苦労するカテゴリを識別する。
この研究は、T2Iモデルの多様性とメートル法開発を改善するための、堅牢な方法論と洞察を提供する。
関連論文リスト
- Beyond Overcorrection: Evaluating Diversity in T2I Models with DivBench [26.148022772521493]
テキスト・トゥ・イメージ(T2I)モデルの現在の多様化戦略は、しばしば文脈的適切さを無視し、過度な多様化につながる。
本稿では,T2I 生成における過度および過度な分散度を測定するためのベンチマークおよび評価フレームワークである DIVBENCH を紹介する。
論文 参考訳（メタデータ） (2025-07-02T13:14:42Z) - DIMCIM: A Quantitative Evaluation Framework for Default-mode Diversity and Generalization in Text-to-Image Generative Models [11.080727606381524]
我々は、デフォルトモードの多様性を基準無しで測定するDod-it/Can-itフレームワーク、DIM-CIMを紹介する。
1.5Bから8.1Bパラメータへのスケーリングでは,既定モードの多様性を犠牲にして,広く使用されているモデルが一般化されることがわかった。
また、DIMCIMを用いて、T2Iモデルのトレーニングデータを評価し、トレーニング画像の多様性とデフォルトモードの多様性との相関関係を0.85で観測する。
論文 参考訳（メタデータ） (2025-06-05T14:53:34Z) - GRADE: Quantifying Sample Diversity in Text-to-Image Models [66.12068246962762]
GRADEはテキスト・画像モデルにおけるサンプルの多様性を定量化する手法である。
GRADEを用いて、合計720K画像上の12種類のモデルの多様性を測定する。
論文 参考訳（メタデータ） (2024-10-29T23:10:28Z) - The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention [61.80236015147771]
我々は多様性の介入とT2Iモデルにおける人口統計学的事実性とのトレードオフを定量化する。
DoFaiRの実験では、多様性指向の指示によって、性別や人種の異なる集団の数が増加することが明らかになった。
本研究では,歴史における世代ごとのジェンダーや人種構成について,言語化された事実情報を反映したFact-Augmented Intervention (FAI)を提案する。
論文 参考訳（メタデータ） (2024-06-29T09:09:42Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳（メタデータ） (2023-03-20T19:32:49Z) - Random Network Distillation as a Diversity Metric for Both Image and
Text Generation [62.13444904851029]
我々は、どんな種類のデータにも、どんな種類のデータにも、自然にも適用できる新しい多様性指標を開発した。
私たちはこのメトリクスを画像とテキストの両方で検証し、デプロイします。
論文 参考訳（メタデータ） (2020-10-13T22:03:52Z) - Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。
当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文 参考訳（メタデータ） (2020-04-06T20:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。