論文の概要: Diagnosing and Fixing Manifold Overfitting in Deep Generative Models

• arxiv url: http://arxiv.org/abs/2204.07172v1
• Date: Thu, 14 Apr 2022 18:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 14:44:32.585901
• Title: Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
• Title（参考訳）: 深部生成モデルにおけるマニフォールドオーバーフィッティングの診断と修正
• Authors: Gabriel Loaiza-Ganem, Brendan Leigh Ross, Jesse C. Cresswell, Anthony L. Caterini
• Abstract要約: ニューラルネットワークを使ってフレキシブルな高次元密度を構築する。 観測データは高次元空間に埋め込まれた低次元多様体上に存在することを示す。 そこで本研究では,次元削減ステップと最大線密度推定を併用した2段階の手順のクラスを提案する。
• 参考スコア（独自算出の注目度）: 11.82509693248749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Likelihood-based, or explicit, deep generative models use neural networks to construct flexible high-dimensional densities. This formulation directly contradicts the manifold hypothesis, which states that observed data lies on a low-dimensional manifold embedded in high-dimensional ambient space. In this paper we investigate the pathologies of maximum-likelihood training in the presence of this dimensionality mismatch. We formally prove that degenerate optima are achieved wherein the manifold itself is learned but not the distribution on it, a phenomenon we call manifold overfitting. We propose a class of two-step procedures consisting of a dimensionality reduction step followed by maximum-likelihood density estimation, and prove that they recover the data-generating distribution in the nonparametric regime, thus avoiding manifold overfitting. We also show that these procedures enable density estimation on the manifolds learned by implicit models, such as generative adversarial networks, hence addressing a major shortcoming of these models. Several recently proposed methods are instances of our two-step procedures; we thus unify, extend, and theoretically justify a large class of models.
• Abstract（参考訳）: 確率に基づく、あるいは明示的な深層生成モデルは、ニューラルネットワークを使用して柔軟な高次元密度を構築する。 この定式化は、観測データが高次元空間に埋め込まれた低次元多様体上にあるという多様体仮説と直接矛盾する。 本稿では,この次元的ミスマッチの存在下での最大様相訓練の病理について検討する。 退化最適性は、多様体自体が学習されるが、その上の分布ではない場合に達成されることを正式に証明する。 本研究では,次元減少段階と最大線密度推定による2段階の手順のクラスを提案し,非パラメトリックな状態におけるデータ生成分布の回復を証明し,多様体の過剰適合を回避する。 また,これらの手法により,生成的逆ネットワークなどの暗黙的モデルによって学習される多様体の密度推定が可能となることを示した。 最近提案されたいくつかの手法は、2段階の手順の例であり、それによって大きなモデルのクラスを統一し、拡張し、理論的に正当化する。

関連論文リスト

• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 我々は、多様体仮説の下でDDPMを研究し、スコアの学習の観点から、周囲次元に依存しないレートを達成することを証明した。 サンプリングの面では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離 w.r.t に依存しないレートを得る。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Rectangular Flows for Manifold Learning [38.63646804834534]
  正規化フローは、トラクタブル・オブ・ボリューム項を持つ可逆ニューラルネットワークである。 興味のあるデータは、通常、高次元の周囲空間に埋め込まれたいくつかの(しばしば未知の)低次元多様体に生きていると仮定される。 本稿では,モデルのパラメータに関して,この項の勾配を抽出可能な2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T18:30:39Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。