論文の概要: Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables

• arxiv url: http://arxiv.org/abs/2505.19470v1
• Date: Mon, 26 May 2025 03:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.145444
• Title: Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables
• Title（参考訳）: VQ-VAEの情報理論一般化分析:潜伏変数の役割
• Authors: Futoshi Futami, Masahiro Fujisawa,
• Abstract要約: 遅延変数(LV)は、効率的なデータ圧縮、予測、生成を可能にすることで、エンコーダ・デコーダモデルにおいて重要な役割を果たす。 我々は、情報理論の一般化解析を、離散潜在空間を持つベクトル量子化(VQ)VAEに拡張する。 復号器に依存しないLVとエンコーダの複雑さにのみ依存するVQ-VAEの再構成損失の新たな一般化誤差を導出する。
• 参考スコア（独自算出の注目度）: 4.005483185111992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent variables (LVs) play a crucial role in encoder-decoder models by enabling effective data compression, prediction, and generation. Although their theoretical properties, such as generalization, have been extensively studied in supervised learning, similar analyses for unsupervised models such as variational autoencoders (VAEs) remain insufficiently underexplored. In this work, we extend information-theoretic generalization analysis to vector-quantized (VQ) VAEs with discrete latent spaces, introducing a novel data-dependent prior to rigorously analyze the relationship among LVs, generalization, and data generation. We derive a novel generalization error bound of the reconstruction loss of VQ-VAEs, which depends solely on the complexity of LVs and the encoder, independent of the decoder. Additionally, we provide the upper bound of the 2-Wasserstein distance between the distributions of the true data and the generated data, explaining how the regularization of the LVs contributes to the data generation performance.
• Abstract（参考訳）: 遅延変数(LV)は、効率的なデータ圧縮、予測、生成を可能にすることで、エンコーダ・デコーダモデルにおいて重要な役割を果たす。 一般化などの理論的性質は教師あり学習において広く研究されているが、変分オートエンコーダ(VAE)のような教師なしモデルに対する同様の分析はいまだ不十分である。 本研究では,情報理論の一般化解析をベクトル量子化(VQ)VAEに拡張し,LVと一般化,データ生成の関係を厳密に分析する以前に,新たなデータ依存を導入した。 復号器に依存しないLVとエンコーダの複雑さにのみ依存するVQ-VAEの再構成損失の新たな一般化誤差を導出する。 さらに、実データと生成されたデータとの間の2-ワッサーシュタイン距離の上限を提供し、LVの正規化がデータ生成性能にどのように寄与するかを説明する。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Time-Independent Information-Theoretic Generalization Bounds for SGLD [4.73194777046253]
  ランゲヴィン力学データセットに対する新しい情報理論の一般化境界を提供する。 私たちの境界は滑らかさと散逸の仮定に基づいており、指数的ではない。
  論文  参考訳（メタデータ） (2023-11-02T07:42:23Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Targeted Analysis of High-Risk States Using an Oriented Variational Autoencoder [3.494548275937873]
  可変オートエンコーダ(VAE)ニューラルネットワークは、電力系統状態を生成するために訓練することができる。 VAEの潜在空間符号の座標は、データの概念的特徴と相関することが示されている。 本稿では、遅延空間コードと生成されたデータとのリンクを制限するために、指向性変動オートエンコーダ(OVAE)を提案する。
  論文  参考訳（メタデータ） (2023-03-20T19:34:21Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Learning While Dissipating Information: Understanding the Generalization Capability of SGLD [9.328633662865682]
  勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。 分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2021-02-05T03:18:52Z)
• Longitudinal Variational Autoencoder [1.4680035572775534]
  不足値を含む高次元データを解析するための一般的なアプローチは、変分オートエンコーダ(VAE)を用いた低次元表現を学習することである。 標準的なVAEは、学習した表現はi.d.であり、データサンプル間の相関を捉えることができないと仮定する。 本稿では,多出力加法的ガウス過程(GP)を用いて,構造化された低次元表現を学習するVAEの能力を拡張した縦型VAE(L-VAE)を提案する。 我々の手法は時間変化の共有効果とランダム効果の両方に同時に対応でき、構造化された低次元表現を生成する。
  論文  参考訳（メタデータ） (2020-06-17T10:30:14Z)
• Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN) [30.74691299906988]
  表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
  論文  参考訳（メタデータ） (2020-01-14T16:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。