論文の概要: Mixed Variational Flows for Discrete Variables

• arxiv url: http://arxiv.org/abs/2308.15613v3
• Date: Mon, 26 Feb 2024 14:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 22:29:01.272080
• Title: Mixed Variational Flows for Discrete Variables
• Title（参考訳）: 離散変数に対する混合変分流
• Authors: Gian Carlo Diluvi, Benjamin Bloem-Reddy, Trevor Campbell
• Abstract要約: 連続的な埋め込みを伴わない離散分布のための変動流ファミリを開発した。 まず、測度保存および離散可逆写像(MAD)を開発し、離散的対象不変性を残した。 また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
• 参考スコア（独自算出の注目度）: 14.00384446902181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational flows allow practitioners to learn complex continuous distributions, but approximating discrete distributions remains a challenge. Current methodologies typically embed the discrete target in a continuous space - usually via continuous relaxation or dequantization - and then apply a continuous flow. These approaches involve a surrogate target that may not capture the original discrete target, might have biased or unstable gradients, and can create a difficult optimization problem. In this work, we develop a variational flow family for discrete distributions without any continuous embedding. First, we develop a measure-preserving and discrete (MAD) invertible map that leaves the discrete target invariant, and then create a mixed variational flow (MAD Mix) based on that map. Our family provides access to i.i.d. sampling and density evaluation with virtually no tuning effort. We also develop an extension to MAD Mix that handles joint discrete and continuous models. Our experiments suggest that MAD Mix produces more reliable approximations than continuous-embedding flows while being significantly faster to train.
• Abstract（参考訳）: 変動フローにより、実践者は複雑な連続分布を学習できるが、離散分布を近似することは依然として困難である。 現在の方法論では、通常、離散対象を連続的な空間(通常、連続的な緩和や非量子化を通じて)に埋め込み、連続的な流れを適用する。 これらのアプローチは、元の離散的ターゲットを捉えず、偏りや不安定な勾配を持ち、難しい最適化問題を引き起こすサロゲートターゲットを含む。 本研究では,連続埋め込みを伴わない離散分布に対する変分フローファミリを開発した。 まず,離散的対象不変量を残した測度保存・離散的可逆写像を開発し,その写像に基づいて混合変動流(MAD Mix)を生成する。 我々の家族は、ほとんどチューニングの努力なしに、i.d.サンプリングと密度評価へのアクセスを提供する。 また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。 実験の結果,MAD Mixは連続埋込流よりも信頼性の高い近似を生成できるが,訓練は極めて高速であることが示唆された。

関連論文リスト

• (De)-regularized Maximum Mean Discrepancy Gradient Flow [27.70783952195201]
  本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。 DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。 我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
  論文  参考訳（メタデータ） (2024-09-23T12:57:42Z)
• Marginalization Consistent Mixture of Separable Flows for Probabilistic Irregular Time Series Forecasting [4.714246221974192]
  我々は,新しい確率的不規則時系列予測モデル,Marginalization Consistent Mixtures of Separable Flows (moses)を開発した。 mosesは、他の最先端のマーカライゼーション一貫性モデルより優れ、ProFITiと同等だが、ProFITiと異なり、マーカライゼーション一貫性を保証する。
  論文  参考訳（メタデータ） (2024-06-11T13:28:43Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• Unified Discrete Diffusion for Categorical Data [37.56355078250024]
  離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。 本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
  論文  参考訳（メタデータ） (2024-02-06T04:42:36Z)
• Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
  ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。 本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。 提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T17:11:21Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows [10.406659081400354]
  変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。 カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。 実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
  論文  参考訳（メタデータ） (2020-06-28T10:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。