Fugu-MT 論文翻訳(概要): Generative Marginalization Models

論文の概要: Generative Marginalization Models

arxiv url: http://arxiv.org/abs/2310.12920v2
Date: Sun, 06 Oct 2024 19:56:20 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-08 13:42:02.802522
Title: Generative Marginalization Models
Title（参考訳）: ジェネレーティブ・マージナライゼーション・モデル
Authors: Sulin Liu, Peter J. Ramadge, Ryan P. Adams,
Abstract要約: 境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
参考スコア（独自算出の注目度）: 21.971818180264943
License:
Abstract: We introduce marginalization models (MAMs), a new family of generative models for high-dimensional discrete data. They offer scalable and flexible generative modeling by explicitly modeling all induced marginal distributions. Marginalization models enable fast approximation of arbitrary marginal probabilities with a single forward pass of the neural network, which overcomes a major limitation of arbitrary marginal inference models, such as any-order autoregressive models. MAMs also address the scalability bottleneck encountered in training any-order generative models for high-dimensional problems under the context of energy-based training, where the goal is to match the learned distribution to a given desired probability (specified by an unnormalized log-probability function such as energy or reward function). We propose scalable methods for learning the marginals, grounded in the concept of "marginalization self-consistency". We demonstrate the effectiveness of the proposed model on a variety of discrete data distributions, including images, text, physical systems, and molecules, for maximum likelihood and energy-based training settings. MAMs achieve orders of magnitude speedup in evaluating the marginal probabilities on both settings. For energy-based training tasks, MAMs enable any-order generative modeling of high-dimensional problems beyond the scale of previous methods. Code is available at https://github.com/PrincetonLIPS/MaM.
Abstract（参考訳）: 我々は,高次元離散データのための新しい生成モデルであるマーカライゼーションモデル(MAMs)を導入する。それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。行列化モデルは、任意の辺縁確率の高速な近似をニューラルネットワークの1つの前方通過で実現し、任意の辺縁推論モデルの大きな制限を克服する。 MAMはまた、エネルギーベーストレーニングの文脈下で高次元問題に対する任意の階数生成モデルのトレーニングで発生するスケーラビリティのボトルネックにも対処し、そこでは学習された分布を所望の確率(エネルギーや報酬関数のような非正規化対数確率関数によって特定される)に一致させることが目的である。本稿では,辺縁関係を学習するためのスケーラブルな手法を提案し,その概念を「辺縁化自己整合性」という概念に基づいて検討する。提案モデルが画像,テキスト,物理系,分子などの様々な離散データ分布に対して,最大可能性およびエネルギーベーストレーニング設定に対して有効であることを示す。 MAMは、両方の設定で限界確率を評価する際に、桁違いのスピードアップを達成する。エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。コードはhttps://github.com/PrincetonLIPS/MaM.comで入手できる。

関連論文リスト

Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文参考訳（メタデータ） (2024-10-02T17:53:23Z)
Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文参考訳（メタデータ） (2024-05-31T16:18:46Z)
Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文参考訳（メタデータ） (2024-05-30T03:57:29Z)
EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文参考訳（メタデータ） (2024-05-23T05:25:45Z)
Generative Learning of Continuous Data by Tensor Networks [45.49160369119449]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文参考訳（メタデータ） (2023-10-31T14:37:37Z)
Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文参考訳（メタデータ） (2023-10-05T14:08:42Z)
A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
論文参考訳（メタデータ） (2023-05-10T05:48:22Z)
Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文参考訳（メタデータ） (2022-08-30T10:28:50Z)
Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文参考訳（メタデータ） (2022-06-26T10:58:41Z)
Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文参考訳（メタデータ） (2020-09-29T12:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。