Fugu-MT 論文翻訳(概要): Generative Marginalization Models

論文の概要: Generative Marginalization Models

arxiv url: http://arxiv.org/abs/2310.12920v1
Date: Thu, 19 Oct 2023 17:14:29 GMT
ステータス: 処理完了
システム内更新日: 2023-10-20 14:05:46.400097
Title: Generative Marginalization Models
Title（参考訳）: 遺伝子組換えモデル
Authors: Sulin Liu, Peter J. Ramadge, Ryan P. Adams
Abstract要約: 境界化モデル(MaMs)は、高次元離散データのための新しい生成モデルである。スケーラブルでフレキシブルな生成モデルと、抽出可能な可能性を提供します。エネルギーベースのトレーニングタスクでは、MaMは高次元問題の任意の順序生成モデリングを可能にする。
参考スコア（独自算出の注目度）: 24.694121731706314
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce marginalization models (MaMs), a new family of generative models for high-dimensional discrete data. They offer scalable and flexible generative modeling with tractable likelihoods by explicitly modeling all induced marginal distributions. Marginalization models enable fast evaluation of arbitrary marginal probabilities with a single forward pass of the neural network, which overcomes a major limitation of methods with exact marginal inference, such as autoregressive models (ARMs). We propose scalable methods for learning the marginals, grounded in the concept of "marginalization self-consistency". Unlike previous methods, MaMs support scalable training of any-order generative models for high-dimensional problems under the setting of energy-based training, where the goal is to match the learned distribution to a given desired probability (specified by an unnormalized (log) probability function such as energy function or reward function). We demonstrate the effectiveness of the proposed model on a variety of discrete data distributions, including binary images, language, physical systems, and molecules, for maximum likelihood and energy-based training settings. MaMs achieve orders of magnitude speedup in evaluating the marginal probabilities on both settings. For energy-based training tasks, MaMs enable any-order generative modeling of high-dimensional problems beyond the capability of previous methods. Code is at https://github.com/PrincetonLIPS/MaM.
Abstract（参考訳）: 本稿では,高次元離散データのための新しい生成モデルであるマーカライゼーションモデル(MaMs)を紹介する。これらは、すべての誘導限界分布を明示的にモデル化することにより、扱いやすい可能性を持つスケーラブルで柔軟な生成モデリングを提供する。マージナライゼーションモデルは、ニューラルネットワークの単一の前方通過による任意の辺縁確率の迅速な評価を可能にし、自動回帰モデル(ARM)のような、正確な辺縁推論のメソッドの大きな制限を克服する。マージナリゼーション・セルフ・コンシスタンシー(marginalization self-consistency)という概念に基づく,限界学習のためのスケーラブルな手法を提案する。従来の方法とは異なり、MaMsはエネルギーベーストレーニングの設定の下で高次元問題に対する任意の階数生成モデルのスケーラブルなトレーニングをサポートし、そこでは学習された分布を所望の確率(エネルギー関数や報酬関数のような非正規化(log)確率関数によって特定される)に一致させることが目的である。本研究では,2値画像,言語,物理システム,分子など様々な離散データ分布におけるモデルの有効性を,最大確率とエネルギーベースのトレーニング設定に示す。 MaMは、両方の設定で限界確率を評価する際に、桁違いのスピードアップを達成する。エネルギーベースのトレーニングタスクでは、MaMは従来の手法の能力を超える高次元問題の任意の順序生成モデリングを可能にする。コードはhttps://github.com/PrincetonLIPS/MaMにある。

関連論文リスト

Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文参考訳（メタデータ） (2024-10-02T17:53:23Z)
Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文参考訳（メタデータ） (2024-05-31T16:18:46Z)
Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文参考訳（メタデータ） (2024-05-30T03:57:29Z)
EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文参考訳（メタデータ） (2024-05-23T05:25:45Z)
Generative Learning of Continuous Data by Tensor Networks [45.49160369119449]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文参考訳（メタデータ） (2023-10-31T14:37:37Z)
Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文参考訳（メタデータ） (2023-10-05T14:08:42Z)
A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
論文参考訳（メタデータ） (2023-05-10T05:48:22Z)
Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文参考訳（メタデータ） (2022-08-30T10:28:50Z)
Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文参考訳（メタデータ） (2022-06-26T10:58:41Z)
Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文参考訳（メタデータ） (2020-09-29T12:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。