論文の概要: A Practical Guide to Sample-based Statistical Distances for Evaluating Generative Models in Science

• arxiv url: http://arxiv.org/abs/2403.12636v2
• Date: Thu, 10 Oct 2024 09:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:28.154231
• Title: A Practical Guide to Sample-based Statistical Distances for Evaluating Generative Models in Science
• Title（参考訳）: 科学における生成モデル評価のためのサンプルベース統計距離の実践的ガイド
• Authors: Sebastian Bischoff, Alana Darcher, Michael Deistler, Richard Gao, Franziska Gerken, Manuel Gloeckler, Lisa Haxel, Jaivardhan Kapoor, Janne K Lappalainen, Jakob H Macke, Guy Moss, Matthijs Pals, Felix Pei, Rachel Rapp, A Erdem Sağtekin, Cornelius Schröder, Auguste Schulz, Zinovia Stefanidi, Shoji Toyota, Linda Ulmer, Julius Vetter,
• Abstract要約: 我々は、異なる方法論を表す統計距離の4つの一般的な概念に焦点を当てる。 それぞれの距離の背後にある直感を強調し、そのメリット、スケーラビリティ、複雑さ、落とし穴を説明します。 我々は、異なる科学的領域、すなわち意思決定のモデルと医療画像の生成モデルから生成モデルを評価する。
• 参考スコア（独自算出の注目度）: 7.2447605934304375
• License:
• Abstract: Generative models are invaluable in many fields of science because of their ability to capture high-dimensional and complicated distributions, such as photo-realistic images, protein structures, and connectomes. How do we evaluate the samples these models generate? This work aims to provide an accessible entry point to understanding popular sample-based statistical distances, requiring only foundational knowledge in mathematics and statistics. We focus on four commonly used notions of statistical distances representing different methodologies: Using low-dimensional projections (Sliced-Wasserstein; SW), obtaining a distance using classifiers (Classifier Two-Sample Tests; C2ST), using embeddings through kernels (Maximum Mean Discrepancy; MMD), or neural networks (Fr\'echet Inception Distance; FID). We highlight the intuition behind each distance and explain their merits, scalability, complexity, and pitfalls. To demonstrate how these distances are used in practice, we evaluate generative models from different scientific domains, namely a model of decision-making and a model generating medical images. We showcase that distinct distances can give different results on similar data. Through this guide, we aim to help researchers to use, interpret, and evaluate statistical distances for generative models in science.
• Abstract（参考訳）: 生成モデルは、フォトリアリスティック画像、タンパク質構造、コネクトームなどの高次元かつ複雑な分布を捉える能力があるため、科学の多くの分野において重要なものである。 これらのモデルが生成するサンプルをどのように評価するか。 この研究は、一般的なサンプルベース統計距離を理解するためのアクセス可能なエントリポイントを提供することを目的としており、数学と統計学の基礎知識のみを必要とする。 低次元射影(Sliced-Wasserstein; SW)、分類器(Classifier Two-Sample Tests; C2ST)、カーネル(Maximum Mean Discrepancy; MMD)、ニューラルネットワーク(Fr\echet Inception Distance; FID)を用いて距離を得る。 それぞれの距離の背後にある直感を強調し、そのメリット、スケーラビリティ、複雑さ、落とし穴を説明します。 これらの距離が実際にどのように使われているかを示すために、異なる科学領域、すなわち意思決定のモデルと医療画像の生成モデルから生成モデルを評価する。 我々は、異なる距離が類似したデータに対して異なる結果を与えることを示す。 本ガイドは,科学における生成モデルに対する統計的距離の利用,解釈,評価を支援することを目的としている。

関連論文リスト

• Hierarchical Visual Categories Modeling: A Joint Representation Learning and Density Estimation Framework for Out-of-Distribution Detection [28.442470704073767]
  本稿では,分布外データと分布内データとを分離する階層型視覚カテゴリーモデリング手法を提案する。 我々は、CIFAR、iNaturalist、SUN、Places、Textures、ImageNet-O、OpenImage-Oを含む7つの人気のあるベンチマーク実験を行った。 我々の視覚表現は古典的手法で学習した特徴と比較して競争力がある。
  論文  参考訳（メタデータ） (2024-08-28T07:05:46Z)
• Exposing flaws of generative model evaluation metrics and their unfair treatment of diffusion models [14.330863905963442]
  生成モデルの全体的な性能、忠実度、多様性、希少性、記憶度を評価するための17の現代的な指標を比較した。 ヒトが判断する拡散モデルの最先端の知覚現実性は、FIDのような一般的に報告されている指標には反映されない。 次に、データ記憶の研究を行い、生成モデルは、CIFAR10のような単純で小さなデータセットでトレーニング例を記憶するが、ImageNetのようなより複雑なデータセットでは必ずしも記憶しない。
  論文  参考訳（メタデータ） (2023-06-07T18:00:00Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Geometric and Topological Inference for Deep Representations of Complex Networks [13.173307471333619]
  我々は、トポロジと表現の幾何学を強調する統計のクラスを提示する。 モデル選択に使用する場合の感度と特異性の観点から,これらの統計値を評価する。 これらの新しい手法により、脳やコンピューター科学者は、脳やモデルによって学習された動的表現変換を可視化することができる。
  論文  参考訳（メタデータ） (2022-03-10T17:14:14Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。