論文の概要: Markov Chain Decoders Overcome the Heavy-Tail Limitations of Lipschitz Generative Models

• arxiv url: http://arxiv.org/abs/2605.18931v1
• Date: Mon, 18 May 2026 14:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.887841
• Title: Markov Chain Decoders Overcome the Heavy-Tail Limitations of Lipschitz Generative Models
• Title（参考訳）: マルコフ連鎖デコーダはリプシッツ生成モデルの重機限界を克服する
• Authors: Abdelhakim Ziani, Andras Horvath, Paolo Ballarini,
• Abstract要約: ヘビーテール分布は、性能評価、ネットワークトラフィック、リスクモデリングで広く利用されている。 ガウスデコーダをマルコフ連鎖に基づく位相型(PH)分布に置き換える。 PHに基づくモデルでは、テールコルモゴロフ-スミルノフ間距離を最大x6、極端量子誤差を最大x10まで削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heavy-tailed distributions are prevalent in performance evaluation, network traffic, and risk modeling. This behavior poses a fundamental challenge for modern deep generative models. Standard Variational Autoencoders (VAEs) employ Gaussian decoder likelihoods and Lipschitz-constrained neural networks, a combination that is structurally incapable of producing heavy-tailed outputs: the Gaussian tail decays exponentially, and Lipschitz continuity prevents the decoder from amplifying rare events from the latent space input to sufficiently overcome this decay. We provide both a theoretical characterization of this limitation and a controlled empirical demonstration using synthetic Pareto data across a grid of tail indices $α$ $\in$ {2, 3, 5, 30} and dimensions d $\in$ {1, 5, 10}. As a solution, we replace the Gaussian decoder with a Phase-Type (PH) distribution based on Markov chains, while keeping the encoder, latent space, and training procedure identical. PH distributions allow for arbitrarily precise approximations of any positive-valued distributions, including heavy-tailed families. Experiments showed that the PH-based model reduces tail Kolmogorov-Smirnov distance by up to x6 and extreme quantile error by up to x10 compared to the Gaussian baseline for heavy-tailed data. These results demonstrate that integrating Markov chain-based distributions into the decoder of a generative model institutes a principled and practically effective solution to the heavy-tail generation problem.
• Abstract（参考訳）: ヘビーテール分布は、性能評価、ネットワークトラフィック、リスクモデリングで広く利用されている。 この振る舞いは、現代の深層生成モデルに根本的な課題をもたらす。 標準変分オートエンコーダ(VAEs)はガウスデコーダ確率とリプシッツ制約ニューラルネットワーク(英語版)を用いており、これは構造的に重い尾の出力を生成できない組み合わせである:ガウステールは指数関数的に崩壊し、リプシッツ連続性はデコーダが潜時空間から入力された稀な事象を増幅し、この減衰を十分に克服するのを防ぐ。 我々は、この制限の理論的特徴と、合成パレートデータを用いて、テールインデックスのグリッドに$α$$\in$ {2, 3, 5, 30} と d$\in$ {1, 5, 10} の次元をまたいだ制御された実証実験の両方を提供する。 解法として、マルコフ連鎖に基づく位相型(PH)分布でガウスデコーダを置き換え、エンコーダ、潜伏空間、訓練手順を同一に保ったままとする。 PH分布は、重み付き族を含む任意の正値分布の任意の正確な近似を可能にする。 実験により、PHベースのモデルは、重尾データに対するガウス基底線と比較して、テールコルモゴロフ-スミルノフ間距離を最大x6、極端量子誤差を最大x10まで減少させることが示された。 これらの結果は、マルコフ連鎖に基づく分布を生成モデルのデコーダに組み込むことで、ヘビーテール生成問題に対する原理的かつ実用的な解が成立することを示した。

関連論文リスト

• Non-linear Sigma Model for the Surface Code with Coherent Errors [0.0]
  単一ビットのユニタリ回転が存在する場合の2乗格子面符号の最大形復号化について検討する。 我々は、この復号問題の有効長距離理論として、ターゲット空間$mathrmSO (2n)/mathrmU(n)$の非線形シグマモデルを顕微鏡的に導出した。
  論文  参考訳（メタデータ） (2026-03-26T17:19:08Z)
• Phase-Type Variational Autoencoders for Heavy-Tailed Data [0.20854674413792754]
  重い尾の分布は、稀だが極端な出来事がリスクと変動性を支配している現実世界のデータに広く見られる。 位相型変分オートエンコーダ(PH-VAE)を提案し,そのデコーダ分布は潜時条件付き位相型(PH)分布である。 合成および実世界のベンチマークの実験により、PH-VAEは多様な重み付き分布を正確に回復することを示した。
  論文  参考訳（メタデータ） (2026-03-02T12:32:42Z)
• Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
  グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。 VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。 合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
  論文  参考訳（メタデータ） (2026-01-30T03:59:38Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
  可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。 この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。 本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
  論文  参考訳（メタデータ） (2023-04-24T14:44:47Z)
• Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
  生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-06-29T09:03:30Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Variance Constrained Autoencoding [0.0]
  エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。 本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。 実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
  論文  参考訳（メタデータ） (2020-05-08T00:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。