論文の概要: Mixed Variational Flows for Discrete Variables
- arxiv url: http://arxiv.org/abs/2308.15613v1
- Date: Tue, 29 Aug 2023 20:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 15:32:57.386369
- Title: Mixed Variational Flows for Discrete Variables
- Title(参考訳): 離散変数に対する混合変分流
- Authors: Gian Carlo Diluvi, Benjamin Bloem-Reddy, Trevor Campbell
- Abstract要約: 連続的な埋め込みを伴わない離散分布のための変動流ファミリを開発した。
まず、測度保存および離散可逆写像(MAD)を開発し、離散的対象不変性を残した。
また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
- 参考スコア(独自算出の注目度): 14.00384446902181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational flows allow practitioners to learn complex continuous
distributions, but approximating discrete distributions remains a challenge.
Current methodologies typically embed the discrete target in a continuous space
- usually via continuous relaxation or dequantization - and then apply a
continuous flow. These approaches involve a surrogate target that may not
capture the original discrete target, might have biased or unstable gradients,
and can create a difficult optimization problem. In this work, we develop a
variational flow family for discrete distributions without any continuous
embedding. First, we develop a measure-preserving and discrete (MAD) invertible
map that leaves the discrete target invariant, and then create a mixed
variational flow (MAD Mix) based on that map. We also develop an extension to
MAD Mix that handles joint discrete and continuous models. Our experiments
suggest that MAD Mix produces more reliable approximations than
continuous-embedding flows while being significantly faster to train.
- Abstract(参考訳): 変動フローにより、実践者は複雑な連続分布を学習できるが、離散分布を近似することは依然として困難である。
現在の方法論では、通常、離散対象を連続的な空間(通常、連続的な緩和や非量子化を通じて)に埋め込み、連続的な流れを適用する。
これらのアプローチは、元の離散的ターゲットを捉えず、偏りや不安定な勾配を持ち、難しい最適化問題を引き起こすサロゲートターゲットを含む。
本研究では,連続埋め込みを伴わない離散分布に対する変分フローファミリを開発した。
まず,離散的対象不変量を残した測度保存・離散的可逆写像を開発し,その写像に基づいて混合変動流(MAD Mix)を生成する。
また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
実験の結果,MAD Mixは連続埋込流よりも信頼性の高い近似を生成できるが,訓練は極めて高速であることが示唆された。
関連論文リスト
- Improving and Unifying Discrete&Continuous-time Discrete Denoising
Diffusion [41.03548068279262]
離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。
本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
論文 参考訳(メタデータ) (2024-02-06T04:42:36Z) - Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。
本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。
提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
論文 参考訳(メタデータ) (2023-10-25T17:11:21Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳(メタデータ) (2023-05-18T16:24:12Z) - Estimating Latent Population Flows from Aggregated Data via Inversing
Multi-Marginal Optimal Transport [57.16851632525864]
累積カウントデータから潜在人口フローを推定する問題について検討する。
この問題は、プライバシーの問題や測定の不確実性のために個々の軌道が利用できない場合に発生する。
我々はMOTフレームワークのコスト関数を学習し,集約データからの遷移フローを推定する。
論文 参考訳(メタデータ) (2022-12-30T03:03:23Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Discretely Indexed Flows [1.0079626733116611]
本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。
DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。
これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
論文 参考訳(メタデータ) (2022-04-04T10:13:43Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小~中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳(メタデータ) (2021-03-03T23:06:47Z) - On the Ergodicity, Bias and Asymptotic Normality of Randomized Midpoint
Sampling Method [18.541857410928387]
SL19]により提案されたランダム化拡散法は,連続時間ランゲヴィン・ランゲヴィンをシミュレーションするための最適離散化法として登場した。
論文 参考訳(メタデータ) (2020-11-06T03:39:23Z) - Reliable Categorical Variational Inference with Mixture of Discrete
Normalizing Flows [10.406659081400354]
変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。
カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。
実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
論文 参考訳(メタデータ) (2020-06-28T10:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。