論文の概要: KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective
- arxiv url: http://arxiv.org/abs/2604.11744v1
- Date: Mon, 13 Apr 2026 17:18:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.711615
- Title: KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective
- Title（参考訳）: ガウスのKL差分:変分自己エンコーダ目的のためのステップ・バイ・ステップの導出
- Authors: Andrés Muñoz, Rodrigo Ramele,
- Abstract要約: Kullback-Leibler (KL) は2つの確率分布の差分を定量化する。
変分オートエンコーダ(VAE)の文脈では、中央正規化用語として機能する。
- 参考スコア（独自算出の注目度）: 0.5801044612920815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kullback-Leibler (KL) divergence is a fundamental concept in information theory that quantifies the discrepancy between two probability distributions. In the context of Variational Autoencoders (VAEs), it serves as a central regularization term, imposing structure on the latent space and thereby enabling the model to exhibit generative capabilities. In this work, we present a detailed derivation of the closed-form expression for the KL divergence between Gaussian distributions, a case of particular importance in practical VAE implementations. Starting from the general definition for continuous random variables, we derive the expression for the univariate case and extend it to the multivariate setting under the assumption of diagonal covariance. Finally, we discuss the interpretation of each term in the resulting expression and its impact on the training dynamics of the model.
- Abstract（参考訳）: Kullback-Leibler (KL) は、2つの確率分布の相違を定量化する情報理論の基本概念である。
変分オートエンコーダ(VAE)の文脈では、これは中央正規化用語として機能し、潜在空間の構造を付与し、モデルが生成能力を示すことを可能にする。
本稿では,ガウス分布間のKL分散に対する閉形式表現の詳細な導出について述べる。
連続確率変数の一般定義から、単変量の場合の式を導出し、対角共分散の仮定の下で多変量設定に拡張する。
最後に、結果表現における各項の解釈とそのモデルの訓練力学への影響について論じる。
関連論文リスト
- An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。
異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-20T05:06:26Z) - Diffusion Models: A Mathematical Introduction [3.8673630752805437]
本稿では拡散に基づく生成モデルの自己完結型導出について述べる。
第一原理から拡散確率モデルを構築する。
読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
論文 参考訳（メタデータ） (2025-11-13T16:20:52Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - Variational excess risk bound for general state space models [0.0]
一般状態空間モデルに対する変分オートエンコーダ(VAE)について検討する。
本稿では, 変動分布の逆因数分解について検討し, VAEに関連する余剰リスクを解析する。
論文 参考訳（メタデータ） (2023-12-15T08:41:07Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - How to train your VAE [0.0]
変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。
本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。
提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
論文 参考訳（メタデータ） (2023-09-22T19:52:28Z) - Latent Causal Invariant Model [128.7508609492542]
現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。
因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
論文 参考訳（メタデータ） (2020-11-04T10:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。