論文の概要: Attribute Based Interpretable Evaluation Metrics for Generative Models

• arxiv url: http://arxiv.org/abs/2310.17261v3
• Date: Wed, 17 Jul 2024 14:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 23:18:25.756271
• Title: Attribute Based Interpretable Evaluation Metrics for Generative Models
• Title（参考訳）: 属性に基づく生成モデルのための解釈可能な評価指標
• Authors: Dongkyun Kim, Mingi Kwon, Youngjung Uh,
• Abstract要約: 属性強度の分布に関するトレーニングセットから生成された画像の集合のばらつきを計測する新しい評価プロトコルを提案する。 我々のメトリクスは、生成モデルの説明可能な評価の基礎を築いた。
• 参考スコア（独自算出の注目度）: 14.407813583528968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When the training dataset comprises a 1:1 proportion of dogs to cats, a generative model that produces 1:1 dogs and cats better resembles the training species distribution than another model with 3:1 dogs and cats. Can we capture this phenomenon using existing metrics? Unfortunately, we cannot, because these metrics do not provide any interpretability beyond "diversity". In this context, we propose a new evaluation protocol that measures the divergence of a set of generated images from the training set regarding the distribution of attribute strengths as follows. Single-attribute Divergence (SaD) measures the divergence regarding PDFs of a single attribute. Paired-attribute Divergence (PaD) measures the divergence regarding joint PDFs of a pair of attributes. They provide which attributes the models struggle. For measuring the attribute strengths of an image, we propose Heterogeneous CLIPScore (HCS) which measures the cosine similarity between image and text vectors with heterogeneous initial points. With SaD and PaD, we reveal the following about existing generative models. ProjectedGAN generates implausible attribute relationships such as a baby with a beard even though it has competitive scores of existing metrics. Diffusion models struggle to capture diverse colors in the datasets. The larger sampling timesteps of latent diffusion model generate the more minor objects including earrings and necklaces. Stable Diffusion v1.5 better captures the attributes than v2.1. Our metrics lay a foundation for explainable evaluations of generative models.
• Abstract（参考訳）: 訓練データセットが猫に対する犬の割合1:1である場合、1:1の犬と猫を生産する生成モデルは、3:1の犬と猫の他のモデルよりも訓練種分布によく似ている。 既存のメトリクスを使ってこの現象を捉えることはできますか? 残念ながら、これらのメトリクスは"多様性"以上の解釈性を提供しないため、私たちはできません。 そこで本稿では,属性強度の分布に関するトレーニングセットから生成した画像集合のばらつきを測定するための新しい評価プロトコルを提案する。 SaD(Single-Atribute Divergence)は、単一の属性のPDFに関するばらつきを測定する。 Paired-Atribute Divergence (PaD) は、一対の属性の合同PDFに関するばらつきを測定する。 モデルが苦労する属性を提供する。 画像の属性強度を測定するため,不均一な初期点を持つ画像ベクトルとテキストベクトルのコサイン類似度を測定するヘテロジニアスCLIPScore(HCS)を提案する。 SaD と PaD で、既存の生成モデルについて、以下のことを明らかにした。 ProjectedGANは、既存のメトリクスの競合スコアがあるにもかかわらず、あごひげを持つ赤ちゃんのような、ありえない属性関係を生成する。 拡散モデルはデータセットのさまざまな色をキャプチャするのに苦労する。 潜伏拡散モデルのより大きなサンプリングタイムステップは、イヤリングやネックレスを含むより小さなオブジェクトを生成する。 安定拡散 v1.5 は v2.1 よりも属性を捕捉する。 我々のメトリクスは、生成モデルの説明可能な評価の基礎を築いた。

関連論文リスト

• Image Generation Diversity Issues and How to Tame Them [8.858030256056095]
  生成メソッドは、実際のデータとほとんど区別できない出力を生成するが、多くの場合、データの完全なキャプチャに失敗する。 本稿では、生成モデルにおける現在の多様性の欠如と、これを測定するための共通指標の欠如に留意する。 画像検索問題として多様性をフレーミングすることでこれを実現し、合成データを用いて実画像の検索回数をクエリとして測定する。
  論文  参考訳（メタデータ） (2024-11-25T08:00:21Z)
• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data [42.517927809224275]
  本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。 潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。 小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
  論文  参考訳（メタデータ） (2022-07-14T19:20:30Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• AttriMeter: An Attribute-guided Metric Interpreter for Person Re-Identification [100.3112429685558]
  Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。 CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
  論文  参考訳（メタデータ） (2021-03-02T03:37:48Z)
• Probability Link Models with Symmetric Information Divergence [1.5749416770494706]
  リンクモデルの2つの一般的なクラスが提案されている。 最初のモデルは2つの生存関数を結び、比例奇数や変化点のようなモデルに適用できる。 2つ目のモデルは2つの累積確率分布関数をリンクする。
  論文  参考訳（メタデータ） (2020-08-10T19:49:51Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。