論文の概要: Generalization in VAE and Diffusion Models: A Unified Information-Theoretic Analysis

• arxiv url: http://arxiv.org/abs/2506.00849v1
• Date: Sun, 01 Jun 2025 06:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.700855
• Title: Generalization in VAE and Diffusion Models: A Unified Information-Theoretic Analysis
• Title（参考訳）: VAEと拡散モデルの一般化:統一情報理論解析
• Authors: Qi Chen, Jierui Zhu, Florian Shkurti,
• Abstract要約: 本稿では,エンコーダとジェネレータの両方の一般化を保証する統一理論フレームワークを提案する。 合成データと実データの両方に対する実験結果から,提案理論の有効性が示唆された。
• 参考スコア（独自算出の注目度）: 20.429383584319815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the empirical success of Diffusion Models (DMs) and Variational Autoencoders (VAEs), their generalization performance remains theoretically underexplored, especially lacking a full consideration of the shared encoder-generator structure. Leveraging recent information-theoretic tools, we propose a unified theoretical framework that provides guarantees for the generalization of both the encoder and generator by treating them as randomized mappings. This framework further enables (1) a refined analysis for VAEs, accounting for the generator's generalization, which was previously overlooked; (2) illustrating an explicit trade-off in generalization terms for DMs that depends on the diffusion time $T$; and (3) providing computable bounds for DMs based solely on the training data, allowing the selection of the optimal $T$ and the integration of such bounds into the optimization process to improve model performance. Empirical results on both synthetic and real datasets illustrate the validity of the proposed theory.
• Abstract（参考訳）: 拡散モデル (DM) と変分オートエンコーダ (VAE) の実証的な成功にもかかわらず、それらの一般化性能は理論的には未熟であり、特に共有エンコーダ・ジェネレータ構造を十分に考慮していない。 近年の情報理論ツールを活用し,エンコーダとジェネレータの両方をランダムなマッピングとして扱うことで一般化を保証する統一理論フレームワークを提案する。 この枠組みは,(1)従来見過ごされていたジェネレータの一般化を考慮に入れたVAEの洗練された解析,(2)拡散時間$T$,(3)トレーニングデータのみに基づくDMの計算可能なバウンダリを提供することで,最適な$T$の選択と,それらのバウンダリの最適化プロセスへの統合を可能とし,モデル性能を向上させる。 合成データと実データの両方に対する実験結果から,提案理論の有効性が示唆された。

関連論文リスト

• Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
  変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。 本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。 我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
  論文  参考訳（メタデータ） (2024-10-22T07:12:38Z)
• On the Generalization Properties of Diffusion Models [31.067038651873126]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。