論文の概要: Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold

• arxiv url: http://arxiv.org/abs/2502.07650v1
• Date: Tue, 11 Feb 2025 15:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:02.953520
• Title: Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold
• Title（参考訳）: 指数族多様体上の自然勾配を持つ時間変化生成モデルの誘導
• Authors: Song Liu, Leyang Wang, Yakun Wang,
• Abstract要約: 時間変化生成モデルの進化は指数族多様体に射影できることを示す。 次に、自然な勾配降下スキームに従って、多様体上の射影を移動させることで生成モデルを訓練する。 指数族内の任意のパラメトリックモデルのクローズドフォーム更新ルールを特徴とするアルゴリズムの粒子バージョンを提案する。
• 参考スコア（独自算出の注目度）: 5.000311680307273
• License:
• Abstract: Optimising probabilistic models is a well-studied field in statistics. However, its connection with the training of generative models remains largely under-explored. In this paper, we show that the evolution of time-varying generative models can be projected onto an exponential family manifold, naturally creating a link between the parameters of a generative model and those of a probabilistic model. We then train the generative model by moving its projection on the manifold according to the natural gradient descent scheme. This approach also allows us to approximate the natural gradient of the KL divergence efficiently without relying on MCMC for intractable models. Furthermore, we propose particle versions of the algorithm, which feature closed-form update rules for any parametric model within the exponential family. Through toy and real-world experiments, we validate the effectiveness of the proposed algorithms.
• Abstract（参考訳）: 確率モデルの最適化は統計学においてよく研究されている分野である。 しかし、生成モデルの訓練と関係性はほとんど未解明のままである。 本稿では,時間変動生成モデルの進化を指数族多様体に投影し,生成モデルのパラメータと確率モデルとのリンクを自然に生成することを示す。 次に、自然な勾配降下スキームに従って、多様体上の射影を移動させることで生成モデルを訓練する。 また,KL分散の自然な勾配を,MCMCに頼らずに効率的に近似することができる。 さらに,指数族内の任意のパラメトリックモデルのクローズドフォーム更新ルールを特徴とするアルゴリズムの粒子バージョンを提案する。 玩具や実世界の実験を通じて,提案アルゴリズムの有効性を検証する。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants [4.532043501030714]
  マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。 本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-27T02:58:22Z)
• Towards Learning Stochastic Population Models by Gradient Descent [0.0]
  パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。 モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
  論文  参考訳（メタデータ） (2024-04-10T14:38:58Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models [2.7391842773173334]
  我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。 この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-23T17:42:53Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。