論文の概要: Intrinsic Gradient Barriers in Pushforward Deep Generative Models

• arxiv url: http://arxiv.org/abs/2610.34484v1
• Date: Sun, 25 Oct 2026 18:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.621997
• Title: Intrinsic Gradient Barriers in Pushforward Deep Generative Models
• Title（参考訳）: プッシュフォワード深部生成モデルにおける固有勾配バリア
• Abstract要約: 深層生成モデル(DGM)の幅広いクラスは、単純なソース分布を複雑なターゲット分布にマッピングする学習によって運営される。 彼らの成功にもかかわらず、DGMはしばしば、重い尾やよく区切られたモードを持つ分布を正確に表現するのに経験的に苦労する。 これらの困難は、特定のニューラルネットワークアーキテクチャや訓練手順よりも、基盤となる輸送問題の本質的な性質を反映していることが示される。
• 参考スコア（独自算出の注目度）: 4.748157500438034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Broad classes of deep generative models (DGMs) operate by learning to map a simple source distribution, such as a standard Gaussian, to a complex high-dimensional target distribution. Despite their success, DGMs often empirically struggle to accurately represent distributions with heavy tails or well-separated modes. In this work, we show that these difficulties reflect intrinsic properties of the underlying transport problem rather than particular neural network architectures or training procedures. We establish quantitative lower bounds on the gradients and Jacobians of pushforward mappings that transport log-concave source distributions to such targets. For heavy-tailed target distributions, the required gradient magnitude grows as the target develops increasingly large moments. For multimodal target distributions, the low-probability regions between well-separated modes similarly force large gradients in the transport map. We discuss how such large derivatives relate to trade-offs between expressivity and numerical stability. Our results hold under substantially weaker regularity conditions than previous analyses and remain stable under perturbations of the target distribution. Finally, we show that these obstructions can be mitigated when the goal is approximation of a given density rather than generative modeling. Specifically, we propose simple classes of bijective reparametrizations that can alleviate the difficult geometric structure and reduce the gradient burden placed on the learned generative map. Numerical experiments support our theoretical analysis.
• Abstract（参考訳）: 深層生成モデル(DGM)の幅広いクラスは、標準ガウス分布のような単純なソース分布を複雑な高次元のターゲット分布にマッピングする学習によって運営される。 彼らの成功にもかかわらず、DGMはしばしば、重い尾やよく区切られたモードを持つ分布を正確に表現するのに経験的に苦労する。 本研究では,これらの困難は,ニューラルネットワークアーキテクチャや訓練手順よりも,基盤となる輸送問題の本質的な特性を反映していることを示す。 我々は, 対数凹面源分布をそのような対象に伝達するプッシュフォワード写像の勾配とヤコビアンについて, 定量的に下限を定めている。 重尾のターゲット分布では、ターゲットがますます大きなモーメントを発達するにつれて、必要な勾配のマグニチュードが増大する。 マルチモーダルな対象分布の場合、十分に分離されたモード間の低確率領域は、トランスポートマップにおいて大きな勾配を強制する。 このような大きな微分が、表現性と数値安定性の間のトレードオフにどのように関係するかを論じる。 本研究の結果は, 従来の解析結果よりもかなり弱い正則性条件下で, 目標分布の摂動下では安定であることがわかった。 最後に, 目的が生成モデルではなく, 与えられた密度の近似である場合に, これらの障害を緩和できることを示す。 具体的には, 難解な幾何学的構造を緩和し, 学習された生成地図上の勾配負担を軽減できる, 単射再パラメータ化の単純なクラスを提案する。 数値実験は理論解析を支援する。

関連論文リスト

• Fluid-DiT: Graph-Free Diffusion Transformers for Fluid Flow Simulations Learning [50.053186229257555]
  本稿では,グラフメッセージパッシングを注意に基づく認知に置き換えるグラフ自由拡散変換器を提案する。 変換器のグローバルな受容場を利用することで、Fluid-DiTは局所フロー構造と長距離相関の両方を自然に捉える。 サンプルの品質と分布精度の両方において、グラフベースの拡散ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-07T12:28:45Z)
• Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions [11.621528352410502]
  低次元部分空間の和集合に支持された学習分布に対する拡散モデルのサンプル複雑性について検討する。 拡散モデルは1-ワッサーシュタイン距離において$varepsilon$誤差を達成するために、少なくとも$widetildeO(varepsilon-k vee 2)$サンプルを必要とする。
  論文  参考訳（メタデータ） (2026-05-28T16:13:44Z)
• On the Regularity and Generalization of One-Step Wasserstein-guided Generative Models for PDE-Induced Measures [3.746583479431864]
  輸送地図の規則性を理解するための理論的枠組みを開発する。 均一ソース測度から目標測度への最適輸送写像はハルダー連続であることを示す。 この正則性は、PDEによって誘導される分布を1つのプッシュフォワード写像を通して学習する1ステップ生成モデルの近似論的正当性をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T16:43:55Z)
• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Generative Model Inversion Through the Lens of the Manifold Hypothesis [98.37040155914595]
  モデル反転攻撃(MIA)は、訓練されたモデルからクラス表現型サンプルを再構成することを目的としている。 最近の生成的MIAは、生成的敵ネットワークを使用して、反転過程を導く画像の事前学習を行う。
  論文  参考訳（メタデータ） (2025-09-24T14:39:25Z)
• On the Statistical Capacity of Deep Generative Models [10.288413514555861]
  深部生成モデルでは,光尾を呈する濃縮試料しか生成できないことを示す。 これらの結果は、重い尾を扱う共通の深部生成モデルの限られた能力に光を当てた。
  論文  参考訳（メタデータ） (2025-01-14T00:39:46Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• On the Generalization Properties of Diffusion Models [31.067038651873126]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。