論文の概要: When and how can inexact generative models still sample from the data manifold?

• arxiv url: http://arxiv.org/abs/2508.07581v1
• Date: Mon, 11 Aug 2025 03:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.923573
• Title: When and how can inexact generative models still sample from the data manifold?
• Title（参考訳）: 生成モデルはいつ、どのようにしてデータ多様体からサンプリングできるのか?
• Authors: Nisha Chandramoorthy, Adriaan de Clercq,
• Abstract要約: スコア関数やドリフトベクトル場における学習誤差にもかかわらず、生成されたサンプルはデータ分布の支持を強調させるが、それから強調しないように見える。 我々は、上のリャプノフベクトルとデータ多様体の境界に沿った接空間とのアライメントがロバスト性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 2.4664553878979185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A curious phenomenon observed in some dynamical generative models is the following: despite learning errors in the score function or the drift vector field, the generated samples appear to shift \emph{along} the support of the data distribution but not \emph{away} from it. In this work, we investigate this phenomenon of \emph{robustness of the support} by taking a dynamical systems approach on the generating stochastic/deterministic process. Our perturbation analysis of the probability flow reveals that infinitesimal learning errors cause the predicted density to be different from the target density only on the data manifold for a wide class of generative models. Further, what is the dynamical mechanism that leads to the robustness of the support? We show that the alignment of the top Lyapunov vectors (most sensitive infinitesimal perturbation directions) with the tangent spaces along the boundary of the data manifold leads to robustness and prove a sufficient condition on the dynamics of the generating process to achieve this alignment. Moreover, the alignment condition is efficient to compute and, in practice, for robust generative models, automatically leads to accurate estimates of the tangent bundle of the data manifold. Using a finite-time linear perturbation analysis on samples paths as well as probability flows, our work complements and extends existing works on obtaining theoretical guarantees for generative models from a stochastic analysis, statistical learning and uncertainty quantification points of view. Our results apply across different dynamical generative models, such as conditional flow-matching and score-based generative models, and for different target distributions that may or may not satisfy the manifold hypothesis.
• Abstract（参考訳）: スコア関数やドリフトベクトル場における学習誤差にもかかわらず、生成されたサンプルはデータ分布の支持をシフトしているように見えるが、そこからは「emph{away}」ではない。 本研究では, 確率的/決定論的プロセスの生成に動的システムアプローチを採用することにより, 支持体のemph{robustness of the support} のこの現象を考察する。 確率フローの摂動解析により、無限小学習誤差が予測密度を対象密度と異なる原因となることが明らかとなった。 さらに、サポートの堅牢性につながるメカニズムは、どのようなものなのでしょう? 最上位のリャプノフベクトル(最も感度の高い無限小摂動方向)とデータ多様体の境界に沿った接空間とのアライメントは、ロバスト性をもたらし、このアライメントを達成するために生成過程のダイナミクスに十分な条件を示す。 さらに、アライメント条件は計算に効率的であり、実際はロバストな生成モデルに対して、データ多様体の接バンドルの正確な推定を自動で導く。 サンプル経路と確率フローの有限時間線形摂動解析を用いて,確率解析,統計的学習,不確実性定量化の観点から,生成モデルの理論的保証を得るための既存の研究を補完し,拡張する。 この結果は,条件付きフローマッチングやスコアベース生成モデルなど,様々な動的生成モデルに適用できる。

関連論文リスト

• Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries and Denoisers [10.947094609205765]
  フローマッチング(FM)モデルは、ODEサンプルモデルに基づく拡散モデルを一般的なフレームワークに拡張する。 FMモデルの厳密な理論的解析は、サンプルの品質、安定性、より広範な適用性に不可欠である。 本稿では,サンプル軌道の包括的解析により,FMモデルの理論を推し進める。
  論文  参考訳（メタデータ） (2024-12-25T01:17:15Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。 ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。 重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
  論文  参考訳（メタデータ） (2023-05-25T10:41:02Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。