論文の概要: Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples
- arxiv url: http://arxiv.org/abs/2302.04440v4
- Date: Wed, 13 Mar 2024 00:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 19:26:37.544580
- Title: Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples
- Title（参考訳）: 特徴的多様性 : 一般化の評価
サンプルを用いた生成モデル
- Authors: Marco Jiralerspong, Avishek Joey Bose, Ian Gemp, Chongli Qin, Yoram
Bachrach, Gauthier Gidel
- Abstract要約: Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
- 参考スコア（独自算出の注目度）: 25.657798631897908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The past few years have seen impressive progress in the development of deep
generative models capable of producing high-dimensional, complex, and
photo-realistic data. However, current methods for evaluating such models
remain incomplete: standard likelihood-based metrics do not always apply and
rarely correlate with perceptual fidelity, while sample-based metrics, such as
FID, are insensitive to overfitting, i.e., inability to generalize beyond the
training set. To address these limitations, we propose a new metric called the
Feature Likelihood Divergence (FLD), a parametric sample-based metric that uses
density estimation to provide a comprehensive trichotomic evaluation accounting
for novelty (i.e., different from the training samples), fidelity, and
diversity of generated samples. We empirically demonstrate the ability of FLD
to identify overfitting problem cases, even when previously proposed metrics
fail. We also extensively evaluate FLD on various image datasets and model
classes, demonstrating its ability to match intuitions of previous metrics like
FID while offering a more comprehensive evaluation of generative models. Code
is available at https://github.com/marcojira/fld.
- Abstract（参考訳）: ここ数年、高次元、複雑、フォトリアリスティックなデータを生成できる深層生成モデルの開発が目覚ましい進歩を遂げてきた。
しかし、そのようなモデルを評価するための現在の方法はまだ不完全なままであり、標準的な可能性ベースのメトリクスは必ずしも適用されず、知覚的忠実度と相関することはないが、FIDのようなサンプルベースのメトリクスは過度適合(すなわちトレーニングセットを超えて一般化できない)には敏感である。
これらの制約に対処するため,本論文では,新奇性(トレーニングサンプルと異なる),忠実性,および生成標本の多様性を包括的に評価するために,密度推定を用いたパラメトリック・サンプルベース・メトリクスであるFeature Likelihood Divergence (FLD)を提案する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
また、様々な画像データセットやモデルクラス上でFLDを広範囲に評価し、FIDのような過去の指標の直感にマッチする能力を示しながら、より包括的な生成モデルの評価を提供する。
コードはhttps://github.com/marcojira/fld.comから入手できる。
関連論文リスト
- MeLIAD: Interpretable Few-Shot Anomaly Detection with Metric Learning and Entropy-based Scoring [2.394081903745099]
本稿では,新たな異常検出手法であるMeLIADを提案する。
MeLIADはメートル法学習に基づいており、真の異常の事前分布仮定に頼ることなく、設計による解釈可能性を達成する。
解釈可能性の定量的かつ定性的な評価を含む5つの公開ベンチマークデータセットの実験は、MeLIADが異常検出とローカライゼーション性能の改善を達成することを実証している。
論文 参考訳（メタデータ） (2024-09-20T16:01:43Z) - Exposing flaws of generative model evaluation metrics and their unfair
treatment of diffusion models [14.330863905963442]
生成モデルの全体的な性能、忠実度、多様性、希少性、記憶度を評価するための17の現代的な指標を比較した。
ヒトが判断する拡散モデルの最先端の知覚現実性は、FIDのような一般的に報告されている指標には反映されない。
次に、データ記憶の研究を行い、生成モデルは、CIFAR10のような単純で小さなデータセットでトレーニング例を記憶するが、ImageNetのようなより複雑なデータセットでは必ずしも記憶しない。
論文 参考訳（メタデータ） (2023-06-07T18:00:00Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳（メタデータ） (2022-06-22T09:27:31Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳（メタデータ） (2020-06-05T20:54:11Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - Towards GAN Benchmarks Which Require Generalization [48.075521136623564]
関数を推定するにはモデルからの大きなサンプルが必要であると我々は主張する。
我々は、分布を区別するために訓練されたニューラルネットワークの用語で定義されるニューラルネットワーク分散(NND)に目を向ける。
結果として得られたベンチマークは、トレーニングセットの記憶によって"ウォン"することはできないが、それでも知覚的に相関があり、サンプルからのみ計算可能である。
論文 参考訳（メタデータ） (2020-01-10T20:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。