論文の概要: Emergent Asymmetry of Precision and Recall for Measuring Fidelity and
Diversity of Generative Models in High Dimensions
- arxiv url: http://arxiv.org/abs/2306.09618v1
- Date: Fri, 16 Jun 2023 04:18:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 15:10:34.508367
- Title: Emergent Asymmetry of Precision and Recall for Measuring Fidelity and
Diversity of Generative Models in High Dimensions
- Title（参考訳）: 高次元生成モデルの忠実性と多様性を測定するための精度とリコールの創発的非対称性
- Authors: Mahyar Khayatkhoei, Wael AbdAlmageed
- Abstract要約: 次元の数が増加するにつれて、2つのモデル分布はそれぞれの分布によらず全く異なる精度とリコールを持つことが示される。
次に、これらの測度に対して、次元の数に関係なく対称な測度を構築するための、単純かつ効果的な修正を提供する。
- 参考スコア（独自算出の注目度）: 15.777510451215752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Precision and Recall are two prominent metrics of generative performance,
which were proposed to separately measure the fidelity and diversity of
generative models. Given their central role in comparing and improving
generative models, understanding their limitations are crucially important. To
that end, in this work, we identify a critical flaw in the common approximation
of these metrics using k-nearest-neighbors, namely, that the very
interpretations of fidelity and diversity that are assigned to Precision and
Recall can fail in high dimensions, resulting in very misleading conclusions.
Specifically, we empirically and theoretically show that as the number of
dimensions grows, two model distributions with supports at equal point-wise
distance from the support of the real distribution, can have vastly different
Precision and Recall regardless of their respective distributions, hence an
emergent asymmetry in high dimensions. Based on our theoretical insights, we
then provide simple yet effective modifications to these metrics to construct
symmetric metrics regardless of the number of dimensions. Finally, we provide
experiments on real-world datasets to illustrate that the identified flaw is
not merely a pathological case, and that our proposed metrics are effective in
alleviating its impact.
- Abstract（参考訳）: 精度とリコールは、生成モデルの忠実性と多様性を別々に測定するために提案された生成性能の2つの顕著な指標である。
生成モデルの比較と改善における中心的な役割を考えると、それらの限界を理解することは極めて重要である。
そこで本研究では,k-nearest-neighborsを用いて,これらの測定値の共通近似における重要な欠陥を同定し,精度とリコールに割り当てられた忠実さと多様性の解釈が高次元で失敗し,非常に誤解を招く結果となった。
具体的には,実分布の支持部から等距離に支持される2つのモデル分布が,各分布によらず非常に異なる精度と記憶力を持つことを実験的に理論的に示し,高次元における創発的非対称性を明らかにした。
理論的な洞察に基づいて、次元の数に関係なく対称なメトリクスを構築するために、これらのメトリクスを単純かつ効果的に修正する。
最後に,実世界のデータセットに関する実験を行い,特定された欠陥が単なる病理的事例ではなく,提案手法が影響の軽減に有効であることを示す。
関連論文リスト
- Measuring Orthogonality in Representations of Generative Models [81.13466637365553]
教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。
独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。
我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
論文 参考訳（メタデータ） (2024-07-04T08:21:54Z) - Probabilistic Precision and Recall Towards Reliable Evaluation of
Generative Models [7.770029179741429]
問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。
我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
論文 参考訳（メタデータ） (2023-09-04T13:19:17Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳（メタデータ） (2023-07-19T12:11:15Z) - Implicit Bayes Adaptation: A Collaborative Transport Approach [25.96406219707398]
領域適応は、高次元ユークリッド空間に埋め込まれた非線型部分多様体に本質的に横たわる各データの固有表現に根付いていることを示す。
これは暗黙のベイズ的フレームワークに準じるものであり、ドメイン適応に対するより堅牢で優れたパフォーマンスのアプローチで実現可能であることを示す。
論文 参考訳（メタデータ） (2023-04-17T14:13:40Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Structure and Distribution Metric for Quantifying the Quality of
Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural
Operators for Regression [0.0]
回帰タスクの任意の次元に実装できる2つの比較指標を提案する。
構造計量は、真の誤差と不確かさの形状と位置の類似性を評価する一方、分布計量は、支持された2つの大きさを定量化する。
これらのメトリクスを高次元および非線形テストケースにおけるガウス過程(GP)、アンサンブルディープニューラルネット(DNN)、およびアンサンブルディープニューラルオペレータ(DNO)に適用する。
論文 参考訳（メタデータ） (2022-03-09T04:16:31Z) - Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian
Nonparametrics [85.31247588089686]
変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。
ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
論文 参考訳（メタデータ） (2021-07-08T03:40:18Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。