論文の概要: On the Statistical Capacity of Deep Generative Models

• arxiv url: http://arxiv.org/abs/2501.07763v1
• Date: Tue, 14 Jan 2025 00:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:30.972416
• Title: On the Statistical Capacity of Deep Generative Models
• Title（参考訳）: 深部生成モデルの統計的容量について
• Authors: Edric Tam, David B. Dunson,
• Abstract要約: 深部生成モデルでは,光尾を呈する濃縮試料しか生成できないことを示す。 これらの結果は、重い尾を扱う共通の深部生成モデルの限られた能力に光を当てた。
• 参考スコア（独自算出の注目度）: 10.288413514555861
• License:
• Abstract: Deep generative models are routinely used in generating samples from complex, high-dimensional distributions. Despite their apparent successes, their statistical properties are not well understood. A common assumption is that with enough training data and sufficiently large neural networks, deep generative model samples will have arbitrarily small errors in sampling from any continuous target distribution. We set up a unifying framework that debunks this belief. We demonstrate that broad classes of deep generative models, including variational autoencoders and generative adversarial networks, are not universal generators. Under the predominant case of Gaussian latent variables, these models can only generate concentrated samples that exhibit light tails. Using tools from concentration of measure and convex geometry, we give analogous results for more general log-concave and strongly log-concave latent variable distributions. We extend our results to diffusion models via a reduction argument. We use the Gromov--Levy inequality to give similar guarantees when the latent variables lie on manifolds with positive Ricci curvature. These results shed light on the limited capacity of common deep generative models to handle heavy tails. We illustrate the empirical relevance of our work with simulations and financial data.
• Abstract（参考訳）: 深部生成モデルは複雑な高次元分布からサンプルを生成するために日常的に使用される。 彼らの明らかな成功にもかかわらず、その統計的性質はよく理解されていない。 一般的な仮定は、十分なトレーニングデータと十分に大きなニューラルネットワークによって、深い生成モデルサンプルは、任意の連続目標分布からのサンプリングにおいて、任意に小さなエラーを発生させるというものである。 私たちはこの信念を否定する統一的な枠組みを構築した。 本研究では,多変量オートエンコーダや生成逆数ネットワークを含む深層生成モデルの幅広いクラスが普遍的生成器ではないことを示す。 ガウス潜伏変数の圧倒的な場合において、これらのモデルは光尾を示す集中的なサンプルしか生成できない。 測度と凸幾何学の集中から得られるツールを用いて、より一般的な対数対数対数および強い対数対数対数変数分布に対して類似した結果を与える。 我々は、還元論を通して拡散モデルに結果を拡張する。 我々はグロモフ-ルビー不等式を用いて、正リッチ曲率を持つ多様体上の潜在変数が同様の保証を与える。 これらの結果は、重い尾を扱う共通の深部生成モデルの限られた能力に光を当てた。 シミュレーションと財務データによる研究の実証的関連について説明する。

関連論文リスト

• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。 生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。 我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diffusion Random Feature Model [0.0]
  本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。 サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。 ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:05Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。 ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。 重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
  論文  参考訳（メタデータ） (2023-05-25T10:41:02Z)
• Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
  生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-06-29T09:03:30Z)
• Modelling nonlinear dependencies in the latent space of inverse scattering [1.5990720051907859]
  アングルとマラートによって提案された逆散乱では、ディープニューラルネットワークが画像に適用された散乱変換を反転するように訓練される。 このようなネットワークをトレーニングした後、散乱係数の主成分分布から標本化できることから、生成モデルとして利用することができる。 本稿では,2つのモデル,すなわち変分オートエンコーダと生成逆数ネットワークについて検討する。
  論文  参考訳（メタデータ） (2022-03-19T12:07:43Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。