論文の概要: Benchmarking Counterfactual Image Generation
- arxiv url: http://arxiv.org/abs/2403.20287v1
- Date: Fri, 29 Mar 2024 16:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:05:12.198895
- Title: Benchmarking Counterfactual Image Generation
- Title(参考訳): 対実画像生成のベンチマーク
- Authors: Thomas Melistas, Nikos Spyrou, Nefeli Gkouti, Pedro Sanchez, Athanasios Vlontzos, Giorgos Papanastasiou, Sotirios A. Tsaftaris,
- Abstract要約: 本稿では,デファクト画像生成手法のベンチマークを目的とした新しいフレームワークを提案する。
我々は、構成、有効性、介入の最小限性、イメージリアリズムなど、カウンターファクトの多様な側面を評価することに焦点を当てたメトリクスを組み込んだ。
我々の作業にはユーザフレンドリなPythonパッケージが伴い、既存のおよび将来の偽物画像生成手法のさらなる評価とベンチマークを可能にします。
- 参考スコア(独自算出の注目度): 11.392385571153527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counterfactual image generation is pivotal for understanding the causal relations of variables, with applications in interpretability and generation of unbiased synthetic data. However, evaluating image generation is a long-standing challenge in itself. The need to evaluate counterfactual generation compounds on this challenge, precisely because counterfactuals, by definition, are hypothetical scenarios without observable ground truths. In this paper, we present a novel comprehensive framework aimed at benchmarking counterfactual image generation methods. We incorporate metrics that focus on evaluating diverse aspects of counterfactuals, such as composition, effectiveness, minimality of interventions, and image realism. We assess the performance of three distinct conditional image generation model types, based on the Structural Causal Model paradigm. Our work is accompanied by a user-friendly Python package which allows to further evaluate and benchmark existing and future counterfactual image generation methods. Our framework is extendable to additional SCM and other causal methods, generative models, and datasets.
- Abstract(参考訳): 画像生成は変数の因果関係を理解する上で重要な要素であり、解釈可能性と非バイアス合成データの生成への応用がある。
しかし、画像生成を評価することは、それ自体が長年の課題である。
この課題において、反事実生成化合物を評価する必要性は、正確には、反事実は、定義上、観測可能な基底真理を持たない仮説上のシナリオであるからである。
本稿では,デファクト画像生成手法のベンチマークを目的とした,新しい包括的枠組みを提案する。
我々は、構成、有効性、介入の最小限性、イメージリアリズムなど、カウンターファクトの多様な側面を評価することに焦点を当てたメトリクスを組み込んだ。
構造因果モデルに基づく3種類の条件付き画像生成モデルの性能評価を行った。
我々の作業にはユーザフレンドリなPythonパッケージが伴い、既存のおよび将来の偽物画像生成手法のさらなる評価とベンチマークを可能にします。
我々のフレームワークは、追加のSCMや他の因果的手法、生成モデル、データセットに拡張可能である。
関連論文リスト
- Counterfactual Image Editing [54.21104691749547]
対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。
本稿では,形式言語を用いた対物画像編集タスクを形式化し,潜在生成因子と画像の因果関係をモデル化する。
ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-07T20:55:39Z) - GenEval: An Object-Focused Framework for Evaluating Text-to-Image
Alignment [26.785655363790312]
我々は、合成画像特性を評価するためのオブジェクト中心のフレームワークGenEvalを紹介する。
そこで本研究では,現在のオブジェクト検出モデルを用いてテキスト・ツー・イメージ・モデルの評価を行う。
次に、複数のオープンソーステキスト・ツー・イメージモデルを評価し、それらの相対的生成能力を解析する。
論文 参考訳(メタデータ) (2023-10-17T18:20:03Z) - ImagenHub: Standardizing the evaluation of conditional image generation
models [48.51117156168]
本稿では,条件付き画像生成モデルの推論と評価を標準化するワンストップライブラリであるImagenHubを提案する。
本研究では,感性一貫性と知覚品質という2つの評価スコアと,生成した画像を評価するための包括的なガイドラインを設計する。
人間の評価は,0.4以上の値を持つ76%のモデル上で,クリッペンドルフのαに対する高い労働者間合意を達成する。
論文 参考訳(メタデータ) (2023-10-02T19:41:42Z) - Relational Inductive Biases for Object-Centric Image Generation [10.219833196479142]
本稿では,オブジェクト中心のリレーショナル表現に基づく条件付き画像生成手法を提案する。
本稿では,その構造と関連するスタイルを表す属性グラフ上の画像中の特定のオブジェクトの生成を条件付ける手法を提案する。
提案フレームワークは、基礎となるグラフと出力画像となる2Dグリッドの両方で動作する畳み込み演算子を組み合わせたニューラルネットワークアーキテクチャを用いて実装されている。
論文 参考訳(メタデータ) (2023-03-26T11:17:17Z) - Counterfactual Edits for Generative Evaluation [0.0]
本稿では,画素の代わりに概念に基づく合成結果の評価と説明のためのフレームワークを提案する。
我々のフレームワークは、どのオブジェクトや属性を挿入、削除、または置き換えるべきかを下記した知識ベースの偽物編集を利用する。
局所的な編集を蓄積したグローバルな説明は、モデルが合計で生成できない概念を明らかにすることもできる。
論文 参考訳(メタデータ) (2023-03-02T20:10:18Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z) - DALL-Eval: Probing the Reasoning Skills and Social Biases of
Text-to-Image Generation Models [73.12069620086311]
テキスト・ツー・イメージ・モデルの視覚的推論能力と社会的バイアスについて検討する。
まず,物体認識,物体カウント,空間的関係理解という3つの視覚的推論スキルを計測する。
第2に、生成した画像の性別/肌の色調分布を測定することにより、性別と肌のトーンバイアスを評価する。
論文 参考訳(メタデータ) (2022-02-08T18:36:52Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳(メタデータ) (2021-12-08T21:39:00Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳(メタデータ) (2021-05-20T20:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。