論文の概要: Unifying and extending Precision Recall metrics for assessing generative models
- arxiv url: http://arxiv.org/abs/2405.01611v1
- Date: Thu, 2 May 2024 13:19:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 15:04:28.158337
- Title: Unifying and extending Precision Recall metrics for assessing generative models
- Title（参考訳）: 生成モデル評価のための高精度リコールメトリクスの統一と拡張
- Authors: Benjamin Sykes, Loic Simon, Julien Rabin,
- Abstract要約: 生成モデルはFrechet Inception Distance(FID)やInception Score(IS)のようなスカラー値で比較されることを示す。
また、対応する文献で示される結果を超える一貫性のある結果も提供します。
- 参考スコア（独自算出の注目度）: 1.17431678544333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the recent success of generative models in image and text, the evaluation of generative models has gained a lot of attention. Whereas most generative models are compared in terms of scalar values such as Frechet Inception Distance (FID) or Inception Score (IS), in the last years (Sajjadi et al., 2018) proposed a definition of precision-recall curve to characterize the closeness of two distributions. Since then, various approaches to precision and recall have seen the light (Kynkaanniemi et al., 2019; Naeem et al., 2020; Park & Kim, 2023). They center their attention on the extreme values of precision and recall, but apart from this fact, their ties are elusive. In this paper, we unify most of these approaches under the same umbrella, relying on the work of (Simon et al., 2019). Doing so, we were able not only to recover entire curves, but also to expose the sources of the accounted pitfalls of the concerned metrics. We also provide consistency results that go well beyond the ones presented in the corresponding literature. Last, we study the different behaviors of the curves obtained experimentally.
- Abstract（参考訳）: 近年,画像およびテキストにおける生成モデルの成功により,生成モデルの評価が注目されている。
ほとんどの生成モデルは、Frechet Inception Distance (FID) やInception Score (IS) のようなスカラー値で比較されるが、過去数年間(Sajjadi et al , 2018)では、2つの分布の近接性を特徴づける精度-リコール曲線の定義を提案した。
それ以来、精度とリコールに関する様々なアプローチが光を見てきた(Kynkaanniemi et al , 2019; Naeem et al , 2020; Park & Kim, 2023)。
彼らは正確さとリコールの極端な価値に注意を向けるが、この事実とは別に、彼らの関係は明白である。
本稿では,これらのアプローチのほとんどを同一の傘の下で統一し,Simon et al , 2019。
そうすることで、曲線全体を復元するだけでなく、関連するメトリクスの落とし穴を説明できるのです。
また、対応する文献で示される結果を超える一貫性のある結果も提供します。
最後に,実験により得られた曲線の異なる挙動について検討した。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Probabilistic Precision and Recall Towards Reliable Evaluation of
Generative Models [7.770029179741429]
問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。
我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
論文 参考訳（メタデータ） (2023-09-04T13:19:17Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳（メタデータ） (2023-02-02T13:30:48Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳（メタデータ） (2023-02-01T17:46:47Z) - Score-based Generative Modeling Secretly Minimizes the Wasserstein
Distance [14.846377138993642]
スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。
我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
論文 参考訳（メタデータ） (2022-12-13T03:48:01Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳（メタデータ） (2022-06-22T09:27:31Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。