論文の概要: Distillation of a tractable model from the VQ-VAE

• arxiv url: http://arxiv.org/abs/2509.01400v1
• Date: Mon, 01 Sep 2025 11:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.674028
• Title: Distillation of a tractable model from the VQ-VAE
• Title（参考訳）: VQ-VAEからのトラクタブルモデルの蒸留
• Authors: Armin Hadžić, Milan Papez, Tomáš Pevný,
• Abstract要約: VQ-VAEは,高い確率で潜在変数のサブセットを選択することにより,抽出可能なモデルに蒸留可能であることを示す。 実験は密度推定および条件生成タスクにおける競合性能を示す。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative models with discrete latent space, such as the Vector-Quantized Variational Autoencoder (VQ-VAE), offer excellent data generation capabilities, but, due to the large size of their latent space, their probabilistic inference is deemed intractable. We demonstrate that the VQ-VAE can be distilled into a tractable model by selecting a subset of latent variables with high probabilities. This simple strategy is particularly efficient, especially if the VQ-VAE underutilizes its latent space, which is, indeed, very often the case. We frame the distilled model as a probabilistic circuit, and show that it preserves expressiveness of the VQ-VAE while providing tractable probabilistic inference. Experiments illustrate competitive performance in density estimation and conditional generation tasks, challenging the view of the VQ-VAE as an inherently intractable model.
• Abstract（参考訳）: Vector-Quantized Variational Autoencoder (VQ-VAE) のような離散潜在空間を持つ深層生成モデルは、優れたデータ生成機能を提供するが、その潜在空間が大きいため、確率的推論は難解であると見なされる。 VQ-VAEは高い確率で潜在変数のサブセットを選択することにより、抽出可能なモデルに蒸留できることを実証する。 この単純な戦略は特に効率的であり、特にVQ-VAEがその潜伏空間を弱めている場合、これは実際非常に頻繁に発生する。 本稿では, 蒸留モデルを確率回路として構成し, VQ-VAEの表現性を保ちながら, トラクタブル確率推定を行うことを示す。 実験は、密度推定と条件生成タスクにおける競合性能を示し、VQ-VAEを本質的に難解なモデルとして捉えることに挑戦する。

関連論文リスト

• LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling [3.9426000822656224]
  より潜在的な空間はより表現力が高く、ベクトル量子化アプローチよりも表現性がよいことを示す。 以上の結果から,VQ手法の真の利点は,潜伏空間の離散化ではなく,潜伏空間の損失圧縮によるものである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-16T08:20:58Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。 本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。 本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Flexible and efficient emulation of spatial extremes processes via variational autoencoders [9.09823450442456]
  我々は、XVAEと呼ばれる変分オートエンコーダの符号化・復号構造に、フレキシブルで非定常的依存特性を持つ新しい空間超越モデルを統合する。 XVAEは空間観測をエミュレートし、特に尾部において入力と同じ統計特性の出力を生成する。 我々は、赤海における高解像度衛星による海面温度のデータセットを分析し、16703格子細胞での30年間の日量測定を含む。
  論文  参考訳（メタデータ） (2023-07-16T15:31:32Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents [26.17940552906923]
  本稿では,拡散モデルフレームワーク内にVAEを統合する新しい生成フレームワークであるDiffuseVAEを紹介する。 提案モデルは高分解能サンプルを生成でき、標準ベンチマークの最先端モデルに匹敵する品質を示す。
  論文  参考訳（メタデータ） (2022-01-02T06:44:23Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Denoising Diffusion Probabilistic Models [91.94962645056896]
  拡散確率モデルを用いて高品質な画像合成結果を示す。 本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
  論文  参考訳（メタデータ） (2020-06-19T17:24:44Z)
• q-VAE for Disentangled Representation Learning and Latent Dynamical Systems [8.071506311915396]
  q-VAEと呼ばれるTsallis統計から導出される変分オートエンコーダ(VAE)を提案する。 提案手法では,サンプルデータに隠された潜伏空間を統計的に抽出するために標準VAEを用いる。
  論文  参考訳（メタデータ） (2020-03-04T01:38:39Z)
• Regularized Autoencoders via Relaxed Injective Probability Flow [35.39933775720789]
  非可逆フローベース生成モデルは、抽出可能な確率計算と推論を可能にしながら、サンプルを生成するための効果的な方法である。 本稿では, モデル上の単射性要件を回避し, 単射性のみを仮定する確率フローに基づく生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-20T18:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。