論文の概要: Benchmarking Counterfactual Image Generation
- arxiv url: http://arxiv.org/abs/2403.20287v1
- Date: Fri, 29 Mar 2024 16:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:05:12.198895
- Title: Benchmarking Counterfactual Image Generation
- Title(参考訳): 対実画像生成のベンチマーク
- Authors: Thomas Melistas, Nikos Spyrou, Nefeli Gkouti, Pedro Sanchez, Athanasios Vlontzos, Giorgos Papanastasiou, Sotirios A. Tsaftaris,
- Abstract要約: 本稿では,デファクト画像生成手法のベンチマークを目的とした新しいフレームワークを提案する。
我々は、構成、有効性、介入の最小限性、イメージリアリズムなど、カウンターファクトの多様な側面を評価することに焦点を当てたメトリクスを組み込んだ。
我々の作業にはユーザフレンドリなPythonパッケージが伴い、既存のおよび将来の偽物画像生成手法のさらなる評価とベンチマークを可能にします。
- 参考スコア(独自算出の注目度): 11.392385571153527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counterfactual image generation is pivotal for understanding the causal relations of variables, with applications in interpretability and generation of unbiased synthetic data. However, evaluating image generation is a long-standing challenge in itself. The need to evaluate counterfactual generation compounds on this challenge, precisely because counterfactuals, by definition, are hypothetical scenarios without observable ground truths. In this paper, we present a novel comprehensive framework aimed at benchmarking counterfactual image generation methods. We incorporate metrics that focus on evaluating diverse aspects of counterfactuals, such as composition, effectiveness, minimality of interventions, and image realism. We assess the performance of three distinct conditional image generation model types, based on the Structural Causal Model paradigm. Our work is accompanied by a user-friendly Python package which allows to further evaluate and benchmark existing and future counterfactual image generation methods. Our framework is extendable to additional SCM and other causal methods, generative models, and datasets.
- Abstract(参考訳): 画像生成は変数の因果関係を理解する上で重要な要素であり、解釈可能性と非バイアス合成データの生成への応用がある。
しかし、画像生成を評価することは、それ自体が長年の課題である。
この課題において、反事実生成化合物を評価する必要性は、正確には、反事実は、定義上、観測可能な基底真理を持たない仮説上のシナリオであるからである。
本稿では,デファクト画像生成手法のベンチマークを目的とした,新しい包括的枠組みを提案する。
我々は、構成、有効性、介入の最小限性、イメージリアリズムなど、カウンターファクトの多様な側面を評価することに焦点を当てたメトリクスを組み込んだ。
構造因果モデルに基づく3種類の条件付き画像生成モデルの性能評価を行った。
我々の作業にはユーザフレンドリなPythonパッケージが伴い、既存のおよび将来の偽物画像生成手法のさらなる評価とベンチマークを可能にします。
我々のフレームワークは、追加のSCMや他の因果的手法、生成モデル、データセットに拡張可能である。
関連論文リスト
- ImagenHub: Standardizing the evaluation of conditional image generation
models [48.51117156168]
本稿では,条件付き画像生成モデルの推論と評価を標準化するワンストップライブラリであるImagenHubを提案する。
本研究では,感性一貫性と知覚品質という2つの評価スコアと,生成した画像を評価するための包括的なガイドラインを設計する。
人間の評価は,0.4以上の値を持つ76%のモデル上で,クリッペンドルフのαに対する高い労働者間合意を達成する。
論文 参考訳(メタデータ) (2023-10-02T19:41:42Z) - Benchmarking Robustness to Text-Guided Corruptions [0.0]
拡散モデルを用いて異なる領域の画像を編集する。
我々は、元のImageNet階層に基づいてプロンプト階層を定義し、異なるドメインで編集を適用する。
畳み込みモデルはトランスフォーマーアーキテクチャよりも堅牢である。
論文 参考訳(メタデータ) (2023-04-06T09:40:02Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳(メタデータ) (2021-12-09T18:59:21Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳(メタデータ) (2021-12-08T21:39:00Z) - Image Scene Graph Generation (SGG) Benchmark [58.33119409657256]
画像シーングラフ生成(オブジェクト、関係検出)への関心が高まっている。
優れたベンチマークが欠如しているため、異なるシーングラフ生成モデルの報告結果と直接比較することができない。
我々は,マスマルクン・ベンチマークといくつかの人気モデルに基づく,待望のシーングラフ生成ベンチマークを開発した。
論文 参考訳(メタデータ) (2021-07-27T05:10:09Z) - RTIC: Residual Learning for Text and Image Composition using Graph
Convolutional Network [19.017377597937617]
画像検索のための画像とテキストの構成学習について検討する。
本稿では,グラフ畳み込みネットワーク(gcn)と既存の合成手法を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2021-04-07T09:41:52Z) - Diverse Single Image Generation with Controllable Global Structure
though Self-Attention [1.2522889958051286]
我々は、生成的敵ネットワークを用いて、グローバルなコンテキストを必要とする画像を生成する方法を示す。
我々の結果は、特にグローバルなコンテキストを必要とする画像の生成において、最先端技術よりも視覚的に優れている。
ピクセルの平均標準偏差を用いて測定した画像生成の多様性も良好である。
論文 参考訳(メタデータ) (2021-02-09T11:52:48Z) - Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。
キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。
複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
論文 参考訳(メタデータ) (2020-07-01T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。