論文の概要: Reliable Fidelity and Diversity Metrics for Generative Models
- arxiv url: http://arxiv.org/abs/2002.09797v2
- Date: Sun, 28 Jun 2020 20:37:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 09:01:21.795468
- Title: Reliable Fidelity and Diversity Metrics for Generative Models
- Title（参考訳）: 生成モデルに対する信頼性と多様性の指標
- Authors: Muhammad Ferjad Naeem, Seong Joon Oh, Youngjung Uh, Yunjey Choi,
Jaejun Yoo
- Abstract要約: Fr'echet Inception Distance (FID)スコアは、Fr'echet Inception Distance(FID)スコアである。
最新の精度とリコール基準でさえまだ信頼性が低いことを示す。
上記の問題を解決するための密度とカバレッジの指標を提案する。
- 参考スコア（独自算出の注目度）: 30.941563781926202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Devising indicative evaluation metrics for the image generation task remains
an open problem. The most widely used metric for measuring the similarity
between real and generated images has been the Fr\'echet Inception Distance
(FID) score. Because it does not differentiate the fidelity and diversity
aspects of the generated images, recent papers have introduced variants of
precision and recall metrics to diagnose those properties separately. In this
paper, we show that even the latest version of the precision and recall metrics
are not reliable yet. For example, they fail to detect the match between two
identical distributions, they are not robust against outliers, and the
evaluation hyperparameters are selected arbitrarily. We propose density and
coverage metrics that solve the above issues. We analytically and
experimentally show that density and coverage provide more interpretable and
reliable signals for practitioners than the existing metrics. Code:
https://github.com/clovaai/generative-evaluation-prdc.
- Abstract（参考訳）: 画像生成タスクの指示的評価指標の策定は依然として未解決の問題である。
実画像と生成画像の類似度を測定するために最も広く用いられる指標は、fr\'echet inception distance (fid)スコアである。
生成した画像の忠実度と多様性を区別しないため、最近の論文では、それらの特性を別々に診断するための精度とリコール指標のバリエーションを導入している。
本稿では,精度とリコールの指標の最新バージョンでさえ,まだ信頼できないことを示す。
例えば、2つの同一分布間の一致の検出に失敗し、外れ値に対して堅牢ではなく、評価ハイパーパラメータが任意に選択される。
上記の問題を解決するための密度とカバレッジの指標を提案する。
分析および実験により,既存の測定値よりも密度とカバレッジがより解釈可能で信頼性の高い信号を実践者に提供できることが示されている。
コード: https://github.com/clovaai/generative-evaluation-prdc。
関連論文リスト
- Semi-supervised Counting via Pixel-by-pixel Density Distribution
Modelling [135.66138766927716]
本稿では,トレーニングデータのごく一部をラベル付けした半教師付き群集カウントに着目した。
我々は1つの決定論的値ではなく、確率分布として回帰するためにピクセル単位の密度値を定式化する。
本手法は,様々なラベル付き比率設定の下で,競争相手よりも明らかに優れる。
論文 参考訳（メタデータ） (2024-02-23T12:48:02Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Rethinking FID: Towards a Better Evaluation Metric for Image Generation [43.66036053597747]
Inception Distanceは、実画像のInception-v3特徴分布とアルゴリズムによって生成された画像の距離を推定する。
インセプションの貧弱な表現は、現代のテキスト・画像モデルによって生成されるリッチで多様なコンテンツ、不正確な正規性仮定、そしてサンプルの複雑さによって引き起こされる。
よりリッチなCLIP埋め込みとガウスRBFカーネルとの最大平均差距離に基づく代替のCMMDを提案する。
論文 参考訳（メタデータ） (2023-11-30T19:11:01Z) - Probabilistic Precision and Recall Towards Reliable Evaluation of
Generative Models [7.770029179741429]
問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。
我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
論文 参考訳（メタデータ） (2023-09-04T13:19:17Z) - The Treasure Beneath Multiple Annotations: An Uncertainty-aware Edge
Detector [70.43599299422813]
既存のメソッドは、単純な投票プロセスを使用して複数のアノテーションを融合し、エッジ固有の曖昧さを無視し、アノテータのラベル付けバイアスを無視する。
多様なアノテーションの主観性とあいまいさを調査するために不確実性を利用した新しい不確実性認識エッジ検出器(UAED)を提案する。
UAEDは複数のエッジ検出ベンチマークで一貫したパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-03-21T13:14:36Z) - Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics [1.484528358552186]
本研究は,Deep Perceptual similarity(DPS)メトリクスの利点と欠点について考察する。
メトリクスは、メトリクスの長所と短所を理解するために、詳細に分析されます。
この研究は、DPSの欠陥に関する新たな洞察に寄与し、さらにメトリクスの改善を提案する。
論文 参考訳（メタデータ） (2022-07-06T08:28:39Z) - Rarity Score : A New Metric to Evaluate the Uncommonness of Synthesized
Images [32.94581354719927]
そこで我々は,各画像の放射率を測定するために,新しい評価基準である「放射率スコア」を提案する。
コードは、研究コミュニティのためにオンラインで公開されます。
論文 参考訳（メタデータ） (2022-06-17T05:16:16Z) - On the Relation between Quality-Diversity Evaluation and
Distribution-Fitting Goal in Text Generation [86.11292297348622]
本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。
品質/多様性メトリックペアの代替としてCR/NRRを提案する。
論文 参考訳（メタデータ） (2020-07-03T04:06:59Z) - Learning to Evaluate Perception Models Using Planner-Centric Metrics [104.33349410009161]
本稿では,自動運転のタスクに特化して,3次元物体検出の原理的基準を提案する。
私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。
人間の評価では,基準基準値と基準値が一致しないシーンを生成し,基準値の79%が人間の側にあることがわかった。
論文 参考訳（メタデータ） (2020-04-19T02:14:00Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。