論文の概要: Posterior Mean Matching: Generative Modeling through Online Bayesian Inference

• arxiv url: http://arxiv.org/abs/2412.13286v2
• Date: Thu, 19 Dec 2024 23:02:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 13:01:48.327619
• Title: Posterior Mean Matching: Generative Modeling through Online Bayesian Inference
• Title（参考訳）: 後平均マッチング:オンラインベイズ推論による生成モデリング
• Authors: Sebastian Salazar, Michal Kucer, Yixin Wang, Emily Casleton, David Blei,
• Abstract要約: 後部平均マッチング (PMM) はベイズ推定に基づく新しい生成モデリング手法である。 PMMは共役対の分布を用いて、画像やテキストのような様々なモダリティの複雑なデータをモデル化する。
• 参考スコア（独自算出の注目度）: 16.810547228954324
• License:
• Abstract: This paper introduces posterior mean matching (PMM), a new method for generative modeling that is grounded in Bayesian inference. PMM uses conjugate pairs of distributions to model complex data of various modalities like images and text, offering a flexible alternative to existing methods like diffusion models. PMM models iteratively refine noisy approximations of the target distribution using updates from online Bayesian inference. PMM is flexible because its mechanics are based on general Bayesian models. We demonstrate this flexibility by developing specialized examples: a generative PMM model of real-valued data using the Normal-Normal model, a generative PMM model of count data using a Gamma-Poisson model, and a generative PMM model of discrete data using a Dirichlet-Categorical model. For the Normal-Normal PMM model, we establish a direct connection to diffusion models by showing that its continuous-time formulation converges to a stochastic differential equation (SDE). Additionally, for the Gamma-Poisson PMM, we derive a novel SDE driven by a Cox process, which is a significant departure from traditional Brownian motion-based generative models. PMMs achieve performance that is competitive with generative models for language modeling and image generation.
• Abstract（参考訳）: 本稿では,ベイズ推定に基づく新しい生成モデルである後方平均マッチング(PMM)を提案する。 PMMは共役対の分布を用いて、画像やテキストのような様々なモダリティの複雑なデータをモデル化し、拡散モデルのような既存の方法に代わる柔軟な代替手段を提供する。 PMMは、オンラインベイズ推論からの更新を用いて、ターゲット分布の雑音近似を反復的に洗練する。 PMMは、その力学が一般的なベイズモデルに基づいているため、柔軟である。 本稿では,Normal-Normalモデルを用いた実数値データの生成PMMモデル,Gamma-Poissonモデルを用いたカウントデータの生成PMMモデル,Dirichlet-Categoricalモデルを用いた離散データの生成PMMモデル,といった特殊例を開発することで,この柔軟性を実証する。 正規-Normal PMMモデルに対しては,その連続時間定式化が確率微分方程式(SDE)に収束することを示し,拡散モデルとの直接接続を確立する。 さらに、ガンマ・ポアソン PMM に対して、コックス過程によって駆動される新しい SDE を導出する。 PMMは、言語モデリングと画像生成のための生成モデルと競合する性能を達成する。

関連論文リスト

• Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold [5.000311680307273]
  時間変化生成モデルの進化は指数族多様体に射影できることを示す。 次に、自然な勾配降下スキームに従って、多様体上の射影を移動させることで生成モデルを訓練する。 指数族内の任意のパラメトリックモデルのクローズドフォーム更新ルールを特徴とするアルゴリズムの粒子バージョンを提案する。
  論文  参考訳（メタデータ） (2025-02-11T15:39:47Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Gaussian Harmony: Attaining Fairness in Diffusion-based Face Generation Models [31.688873613213392]
  拡散モデルは生成過程のバイアスを増幅し、年齢、性別、人種などの敏感な属性の分布の不均衡をもたらす。 ガウス混合モデル(GMM)を用いて拡散モデルの潜時空間における顔特性の手段を局在させることによりバイアスを軽減する。 その結果, 提案手法は, 生成したサンプルの品質を保ちながら, 表現フェアネスの観点から, より公平なデータ生成につながることが示された。
  論文  参考訳（メタデータ） (2023-12-21T20:06:15Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Normalizing Flow based Hidden Markov Models for Classification of Speech Phones with Explainability [25.543231171094384]
  説明可能性を求めるため,逐次データ生成モデルを開発した。 我々は、現代のニューラルネットワーク(正規化フロー)と伝統的な生成モデル(隠れマルコフモデル - HMM)を組み合わせる。 提案した生成モデルは、データの可能性を計算することができ、従って、最大形分類法(ML)に直接適合する。
  論文  参考訳（メタデータ） (2021-07-01T20:10:55Z)
• Equivalence of Segmental and Neural Transducer Modeling: A Proof of Concept [56.46135010588918]
  RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。 空白確率はセグメント長確率に変換され,その逆も示された。
  論文  参考訳（メタデータ） (2021-04-13T11:20:48Z)
• Scaling Hidden Markov Language Models [118.55908381553056]
  この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。 本研究では,HMMを大規模状態空間に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T18:51:55Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry [70.10343492784465]
  モデル予測だけでなく、その解釈可能性も、プロセスエンジニアに公開する必要があります。 LIMEに基づくモデルに依存しない局所的解釈可能性ソリューションが最近出現し、元の手法が改良された。 本稿では, 燃焼炉で生成する高温金属の温度を推定するデータ駆動型モデルの局所的解釈可能性に関する新しいアプローチ, VAE-LIMEを提案する。
  論文  参考訳（メタデータ） (2020-07-15T07:07:07Z)
• Pattern Similarity-based Machine Learning Methods for Mid-term Load Forecasting: A Comparative Study [0.0]
  パターン類似性に基づく年次電力需要予測手法について検討した。 モデルの不可欠な部分は、時系列シーケンスのパターンを用いた時系列表現である。 近接モデル,ファジィ近傍モデル,カーネル回帰モデル,一般回帰ニューラルネットワークの4つのモデルを考える。
  論文  参考訳（メタデータ） (2020-03-03T12:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。