論文の概要: Discrete Denoising Flows
- arxiv url: http://arxiv.org/abs/2107.11625v1
- Date: Sat, 24 Jul 2021 14:47:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 15:59:02.404208
- Title: Discrete Denoising Flows
- Title（参考訳）: 離散分別流れ
- Authors: Alexandra Lindt, Emiel Hoogeboom
- Abstract要約: 分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
- 参考スコア（独自算出の注目度）: 87.44537620217673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete flow-based models are a recently proposed class of generative models
that learn invertible transformations for discrete random variables. Since they
do not require data dequantization and maximize an exact likelihood objective,
they can be used in a straight-forward manner for lossless compression. In this
paper, we introduce a new discrete flow-based model for categorical random
variables: Discrete Denoising Flows (DDFs). In contrast with other discrete
flow-based models, our model can be locally trained without introducing
gradient bias. We show that DDFs outperform Discrete Flows on modeling a toy
example, binary MNIST and Cityscapes segmentation maps, measured in
log-likelihood.
- Abstract（参考訳）: 離散フローベースモデルは、最近提案された離散確率変数の可逆変換を学ぶ生成モデルのクラスである。
データのデ量子化を必要とせず、正確な可能性目標を最大化するため、ロスレス圧縮のためにストレートフォワード方式で使用できる。
本稿では,DDF(Disdisrete Denoising Flows)という,分類型確率変数に対する離散フローベースモデルを提案する。
他の離散フローモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
関連論文リスト
- Discrete Flow Matching [74.04153927689313]
本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。
我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
論文 参考訳（メタデータ） (2024-07-22T12:33:27Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳（メタデータ） (2023-08-14T09:56:35Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳（メタデータ） (2022-08-18T16:07:59Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。
我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。
我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
論文 参考訳（メタデータ） (2020-02-06T22:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。