論文の概要: Generative Marginalization Models
- arxiv url: http://arxiv.org/abs/2310.12920v1
- Date: Thu, 19 Oct 2023 17:14:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 14:05:46.400097
- Title: Generative Marginalization Models
- Title(参考訳): 遺伝子組換えモデル
- Authors: Sulin Liu, Peter J. Ramadge, Ryan P. Adams
- Abstract要約: 境界化モデル(MaMs)は、高次元離散データのための新しい生成モデルである。
スケーラブルでフレキシブルな生成モデルと、抽出可能な可能性を提供します。
エネルギーベースのトレーニングタスクでは、MaMは高次元問題の任意の順序生成モデリングを可能にする。
- 参考スコア(独自算出の注目度): 24.694121731706314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce marginalization models (MaMs), a new family of generative models
for high-dimensional discrete data. They offer scalable and flexible generative
modeling with tractable likelihoods by explicitly modeling all induced marginal
distributions. Marginalization models enable fast evaluation of arbitrary
marginal probabilities with a single forward pass of the neural network, which
overcomes a major limitation of methods with exact marginal inference, such as
autoregressive models (ARMs). We propose scalable methods for learning the
marginals, grounded in the concept of "marginalization self-consistency".
Unlike previous methods, MaMs support scalable training of any-order generative
models for high-dimensional problems under the setting of energy-based
training, where the goal is to match the learned distribution to a given
desired probability (specified by an unnormalized (log) probability function
such as energy function or reward function). We demonstrate the effectiveness
of the proposed model on a variety of discrete data distributions, including
binary images, language, physical systems, and molecules, for maximum
likelihood and energy-based training settings. MaMs achieve orders of magnitude
speedup in evaluating the marginal probabilities on both settings. For
energy-based training tasks, MaMs enable any-order generative modeling of
high-dimensional problems beyond the capability of previous methods. Code is at
https://github.com/PrincetonLIPS/MaM.
- Abstract(参考訳): 本稿では,高次元離散データのための新しい生成モデルであるマーカライゼーションモデル(MaMs)を紹介する。
これらは、すべての誘導限界分布を明示的にモデル化することにより、扱いやすい可能性を持つスケーラブルで柔軟な生成モデリングを提供する。
マージナライゼーションモデルは、ニューラルネットワークの単一の前方通過による任意の辺縁確率の迅速な評価を可能にし、自動回帰モデル(ARM)のような、正確な辺縁推論のメソッドの大きな制限を克服する。
マージナリゼーション・セルフ・コンシスタンシー(marginalization self-consistency)という概念に基づく,限界学習のためのスケーラブルな手法を提案する。
従来の方法とは異なり、MaMsはエネルギーベーストレーニングの設定の下で高次元問題に対する任意の階数生成モデルのスケーラブルなトレーニングをサポートし、そこでは学習された分布を所望の確率(エネルギー関数や報酬関数のような非正規化(log)確率関数によって特定される)に一致させることが目的である。
本研究では,2値画像,言語,物理システム,分子など様々な離散データ分布におけるモデルの有効性を,最大確率とエネルギーベースのトレーニング設定に示す。
MaMは、両方の設定で限界確率を評価する際に、桁違いのスピードアップを達成する。
エネルギーベースのトレーニングタスクでは、MaMは従来の手法の能力を超える高次元問題の任意の順序生成モデリングを可能にする。
コードはhttps://github.com/PrincetonLIPS/MaMにある。
関連論文リスト
- A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳(メタデータ) (2023-12-06T20:58:07Z) - Generative Learning of Continuous Data by Tensor Networks [47.77281294161002]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。
我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。
本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文 参考訳(メタデータ) (2023-10-31T14:37:37Z) - Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。
適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。
最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文 参考訳(メタデータ) (2023-10-05T14:08:42Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - A Hybrid of Generative and Discriminative Models Based on the
Gaussian-coupled Softmax Layer [5.33024001730262]
本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。
提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
論文 参考訳(メタデータ) (2023-05-10T05:48:22Z) - Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。
Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。
実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文 参考訳(メタデータ) (2022-08-30T10:28:50Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳(メタデータ) (2020-09-29T12:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。