論文の概要: Attribute Based Interpretable Evaluation Metrics for Generative Models

• arxiv url: http://arxiv.org/abs/2310.17261v1
• Date: Thu, 26 Oct 2023 09:25:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 21:12:41.143187
• Title: Attribute Based Interpretable Evaluation Metrics for Generative Models
• Title（参考訳）: 生成モデルに対する属性に基づく解釈可能な評価指標
• Authors: Dongkyun Kim, Mingi Kwon, Youngjung Uh
• Abstract要約: 属性強度の分布に関するトレーニングセットから生成された画像の集合のばらつきを計測する新しい評価プロトコルを提案する。 我々のメトリクスは、生成モデルの説明可能な評価の基礎を築いた。
• 参考スコア（独自算出の注目度）: 16.192938590715478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When the training dataset comprises a 1:1 proportion of dogs to cats, a generative model that produces 1:1 dogs and cats better resembles the training species distribution than another model with 3:1 dogs and cats. Can we capture this phenomenon using existing metrics? Unfortunately, we cannot, because these metrics do not provide any interpretability beyond "diversity". In this context, we propose a new evaluation protocol that measures the divergence of a set of generated images from the training set regarding the distribution of attribute strengths as follows. Single-attribute Divergence (SaD) measures the divergence regarding PDFs of a single attribute. Paired-attribute Divergence (PaD) measures the divergence regarding joint PDFs of a pair of attributes. They provide which attributes the models struggle. For measuring the attribute strengths of an image, we propose Heterogeneous CLIPScore (HCS) which measures the cosine similarity between image and text vectors with heterogeneous initial points. With SaD and PaD, we reveal the following about existing generative models. ProjectedGAN generates implausible attribute relationships such as a baby with a beard even though it has competitive scores of existing metrics. Diffusion models struggle to capture diverse colors in the datasets. The larger sampling timesteps of latent diffusion model generate the more minor objects including earrings and necklaces. Stable Diffusion v1.5 better captures the attributes than v2.1. Our metrics lay a foundation for explainable evaluations of generative models.
• Abstract（参考訳）: 訓練データセットが猫に対する犬の割合1:1である場合、1:1の犬と猫を生産する生成モデルは、3:1の犬と猫の訓練種分布によく似ている。 既存のメトリクスを使ってこの現象を捉えることはできますか? 残念ながら、これらのメトリクスは"多様性"を超えたいかなる解釈性も提供しません。 そこで本稿では,属性強度の分布に関するトレーニングセットから生成した画像集合のばらつきを測定するための新しい評価プロトコルを提案する。 single-attribute divergence (sad)は、単一の属性のpdfに関するダイバージェンスを測定する。 Paired-Atribute Divergence (PaD) は、一対の属性の合同PDFに関するばらつきを測定する。 モデルが苦労する属性を提供する。 画像の属性強度を測定するため,不均一な初期点を持つ画像ベクトルとテキストベクトルのコサイン類似度を測定するヘテロジニアスCLIPScore(HCS)を提案する。 SaD と PaD で、既存の生成モデルについて、以下のことを明らかにした。 ProjectedGANは、既存のメトリクスの競合スコアがあるにもかかわらず、あごひげを持つ赤ちゃんのような、ありえない属性関係を生成する。 拡散モデルはデータセットのさまざまな色をキャプチャするのに苦労する。 潜伏拡散モデルのより大きなサンプリング時間ステップは、イヤリングやネックレスを含むより小さなオブジェクトを生成する。 安定拡散 v1.5 は v2.1 よりも属性を捕捉する。 我々のメトリクスは、生成モデルの説明可能な評価の基礎を築いた。

関連論文リスト

• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Balancing Act: Distribution-Guided Debiasing in Diffusion Models [31.38505986239798]
  拡散モデル(DM)は、前例のない画像生成能力を持つ強力な生成モデルとして登場した。 DMはトレーニングデータセットに存在するバイアスを反映します。 本稿では、追加データやモデル再学習に頼ることなく、DMをデバイアスする手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T09:53:17Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data [42.517927809224275]
  本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。 潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。 小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
  論文  参考訳（メタデータ） (2022-07-14T19:20:30Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• AttriMeter: An Attribute-guided Metric Interpreter for Person Re-Identification [100.3112429685558]
  Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。 CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
  論文  参考訳（メタデータ） (2021-03-02T03:37:48Z)
• Probability Link Models with Symmetric Information Divergence [1.5749416770494706]
  リンクモデルの2つの一般的なクラスが提案されている。 最初のモデルは2つの生存関数を結び、比例奇数や変化点のようなモデルに適用できる。 2つ目のモデルは2つの累積確率分布関数をリンクする。
  論文  参考訳（メタデータ） (2020-08-10T19:49:51Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。