論文の概要: Improved Variational Inference in Discrete VAEs using Error Correcting Codes

• arxiv url: http://arxiv.org/abs/2410.07840v2
• Date: Tue, 10 Jun 2025 15:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:38.853355
• Title: Improved Variational Inference in Discrete VAEs using Error Correcting Codes
• Title（参考訳）: 誤り訂正符号を用いた離散VAEの変分推論の改善
• Authors: María Martínez-García, Grace Villacrés, David Mitchell, Pablo M. Olmos,
• Abstract要約: 本研究は, 離散変分オートエンコーダにおける推論を, 生成的視点で解釈することで改善する手法を提案する。 我々は,このモデルを通信システムとして概念化し,誤り訂正符号(ECC)を利用して潜在表現に冗長性を導入することを提案する。 本稿では,2変数の潜伏変数と低複素度繰り返し符号を持つ離散変分オートコーダを用いて概念実証を行い,グローバルおよびローカルなデータ特徴を分離する階層構造に拡張する。
• 参考スコア（独自算出の注目度）: 3.053842954605396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite advances in deep probabilistic models, learning discrete latent representations remains challenging. This work introduces a novel method to improve inference in discrete Variational Autoencoders by reframing the inference problem through a generative perspective. We conceptualize the model as a communication system, and propose to leverage Error-Correcting Codes (ECCs) to introduce redundancy in latent representations, allowing the variational posterior to produce more accurate estimates and reduce the variational gap. We present a proof-of-concept using a Discrete Variational Autoencoder with binary latent variables and low-complexity repetition codes, extending it to a hierarchical structure for disentangling global and local data features. Our approach significantly improves generation quality, data reconstruction, and uncertainty calibration, outperforming the uncoded models even when trained with tighter bounds such as the Importance Weighted Autoencoder objective. We also outline the properties that ECCs should possess to be effectively utilized for improved discrete variational inference.
• Abstract（参考訳）: 深層確率モデルの進歩にもかかわらず、離散的な潜伏表現の学習は依然として困難である。 本研究は, 離散変分オートエンコーダにおける推論を, 生成的視点による推論問題の再検討により改善する手法を提案する。 我々は,このモデルを通信システムとして概念化し,誤り訂正符号(ECC)を利用して遅延表現に冗長性を導入することを提案する。 本稿では,2変数の潜伏変数と低複素度繰り返し符号を持つ離散変分オートコーダを用いて概念実証を行い,グローバルおよびローカルなデータ特徴を分離する階層構造に拡張する。 提案手法は,Importance Weighted Autoencoder などの厳密な境界で訓練しても,生成品質,データ再構成,不確実性を著しく向上させる。 また,ECCの持つ特性を離散的変分推論の改善に有効に活用する方法について概説する。

関連論文リスト

• Variational Encoder-Decoders for Learning Latent Representations of Physical Systems [0.0]
  本稿では,物理系のデータ駆動型低次元表現を学習するためのフレームワークを提案する。 地下水流動モデルの観測井における油圧応答のモデル化に成功した。
  論文  参考訳（メタデータ） (2024-12-06T16:46:48Z)
• Uncertainty in latent representations of variational autoencoders optimized for visual tasks [3.9504737666460037]
  変分オートエンコーダ(VAE)の推論特性について検討する。 従来のコンピュータビジョンからインスピレーションを得て、VAEに誘導バイアスを導入する。 復元された推論能力は、推論ネットワークでモチーフを開発することによって提供される。
  論文  参考訳（メタデータ） (2024-04-23T16:26:29Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。