論文の概要: RBM-Flow and D-Flow: Invertible Flows with Discrete Energy Base Spaces

• arxiv url: http://arxiv.org/abs/2012.13196v2
• Date: Thu, 28 Jan 2021 16:03:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 15:38:23.561564
• Title: RBM-Flow and D-Flow: Invertible Flows with Discrete Energy Base Spaces
• Title（参考訳）: RBM流とD流:離散エネルギーベース空間を持つ可逆流
• Authors: Daniel O'Connor, Walter Vinci
• Abstract要約: 訓練された逆流を用いて複雑なデータ分布の効率的なサンプリングを実現する(if) 連続スムージングを適用したRBM(Restricted Boltzmann Machine)をベースとするIFモデルであるRBM-Flowを実装します。 D-Flow はガウス基底変数を持つ典型的な IF と同様の確率と FID/IS スコアを得るが、グローバルな特徴が潜在空間における離散ラベルとして有意に符号化されているという利点がある。
• 参考スコア（独自算出の注目度）: 2.686876090354586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient sampling of complex data distributions can be achieved using trained invertible flows (IF), where the model distribution is generated by pushing a simple base distribution through multiple non-linear bijective transformations. However, the iterative nature of the transformations in IFs can limit the approximation to the target distribution. In this paper we seek to mitigate this by implementing RBM-Flow, an IF model whose base distribution is a Restricted Boltzmann Machine (RBM) with a continuous smoothing applied. We show that by using RBM-Flow we are able to improve the quality of samples generated, quantified by the Inception Scores (IS) and Frechet Inception Distance (FID), over baseline models with the same IF transformations, but with less expressive base distributions. Furthermore, we also obtain D-Flow, an IF model with uncorrelated discrete latent variables. We show that D-Flow achieves similar likelihoods and FID/IS scores to those of a typical IF with Gaussian base variables, but with the additional benefit that global features are meaningfully encoded as discrete labels in the latent space.
• Abstract（参考訳）: 複雑なデータ分布の効率的なサンプリングは、トレーニングされた非可逆流(IF)を用いて達成され、モデル分布は、複数の非線形ビジェクティブ変換を通じて単純なベース分布をプッシュすることによって生成される。 しかし、IFにおける変換の反復性は、ターゲット分布への近似を制限することができる。 本稿では,連続平滑化を適用した制限ボルツマン機械(rbm)を基本分布とするifモデルであるrbm-flowを実装することで,この問題を緩和する。 RBM-Flowを用いることで,同じIF変換を持つベースラインモデル上でのインセプションスコア(IS)とFrechet Inception Distance(FID)によって定量化されるサンプルの品質を向上させることができるが,表現力の低いベース分布では得られないことを示す。 さらに,非相関な離散潜在変数を持つIFモデルであるD-Flowも得られる。 D-Flow はガウス基底変数を持つ典型的な IF と同様の確率と FID/IS スコアを得るが、グローバルな特徴が潜在空間における離散ラベルとして有意に符号化されているという利点がある。

関連論文リスト

• Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
  本稿では,多数の離散確率変数の結合確率分布を表現するための新しい生成モデルを提案する。 全ての離散な関節分布のメタ・プレプレックスにおけるセグレ写像による流れの埋め込みは、任意の対象分布を原理的に表すことができることを保証している。 我々のアプローチは、結合された離散変数のモデリングの第一原理から強い動機を持っている。
  論文  参考訳（メタデータ） (2024-06-06T21:58:33Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Variations and Relaxations of Normalizing Flows [0.0]
  正規化フロー(NF)は、より単純な基底分布上の一連の変換の構成として、複雑なターゲット分布を表現する。 本調査では,VAEやスコアベース拡散など,他の生成モデルクラスの側面を組み合わせた最近の研究について紹介する。
  論文  参考訳（メタデータ） (2023-09-08T16:55:23Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Flow Matching for Generative Modeling [44.66897082688762]
  フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである 拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。 ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-10-06T08:32:20Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• GFlowNet Foundations [66.69854262276391]
  Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。 GFlowNetのさらなる理論的性質について述べる。
  論文  参考訳（メタデータ） (2021-11-17T17:59:54Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。