論文の概要: PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse

• arxiv url: http://arxiv.org/abs/2602.18904v1
• Date: Sat, 21 Feb 2026 16:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.386147
• Title: PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
• Title（参考訳）: PCA-VAE: コードブック崩壊のない微分可能な部分空間量子化
• Authors: Hao Lu, Onur C. Koyun, Yongxin Guo, Zhengjie Zhu, Abbas Alili, Metin Nafi Gurcan,
• Abstract要約: ベクトル量子化されたオートエンコーダは、高忠実度ラテントを提供するが、固有の欠陥を負う。 私たちはVQを原則的かつ完全に差別化可能な代替手段に置き換えています。 結果は,PCAは数学的基盤,安定,ビット効率,意味的に構造化されたVQの代替として実現可能であることを示唆している。
• 参考スコア（独自算出の注目度）: 12.305907179979426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector-quantized autoencoders deliver high-fidelity latents but suffer inherent flaws: the quantizer is non-differentiable, requires straight-through hacks, and is prone to collapse. We address these issues at the root by replacing VQ with a simple, principled, and fully differentiable alternative: an online PCA bottleneck trained via Oja's rule. The resulting model, PCA-VAE, learns an orthogonal, variance-ordered latent basis without codebooks, commitment losses, or lookup noise. Despite its simplicity, PCA-VAE exceeds VQ-GAN and SimVQ in reconstruction quality on CelebAHQ while using 10-100x fewer latent bits. It also produces naturally interpretable dimensions (e.g., pose, lighting, gender cues) without adversarial regularization or disentanglement objectives. These results suggest that PCA is a viable replacement for VQ: mathematically grounded, stable, bit-efficient, and semantically structured, offering a new direction for generative models beyond vector quantization.
• Abstract（参考訳）: ベクトル量子化されたオートエンコーダは、高忠実な潜伏剤を提供するが、固有の欠陥を被る。 我々はこれらの問題を根本において、VQをシンプルで原則付きで完全に差別化可能な代替品に置き換えることによって解決する:OjaのルールでトレーニングされたオンラインPCAボトルネック。 結果のモデルであるPCA-VAEは、コードブックやコミットメントの損失、ルックアップノイズを伴わずに、直交的、分散順序付き遅延基底を学習する。 その単純さにもかかわらず、PCA-VAEはCelebAHQの再現品質においてVQ-GANとSimVQを上回り、10-100倍の遅延ビットを使用する。 また、自然に解釈可能な次元(例えば、ポーズ、ライティング、ジェンダーのキュー)を、逆正則化や非絡み合いの目的なしに生成する。 これらの結果は,PCAがVQの代替として実現可能であることを示唆している: 数学的基盤,安定,ビット効率,意味的構造化であり,ベクトル量子化を超えた生成モデルに新たな方向性を提供する。

関連論文リスト

• VP-VAE: Rethinking Vector Quantization via Adaptive Vector Perturbation [16.334397444253266]
  ベクトル量子変分オートエンコーダ(VQ-VAE)は現代の生成モデルの基礎であるが、しばしばトレーニング不安定性と「コードブック崩壊」に悩まされる。 本稿では,学習中に明示的なコードブックを不要にすることで,表現学習を識別から切り離す新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-19T07:12:43Z)
• DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick [24.345802081757995]
  本稿では、量子化を量子化歪みを模倣する誤差ベクトルの追加として扱い、勾配の流れを保ちながら前方通過を困難にするDiVeQを提案する。 また,コードワードを接続する行によって構築された曲線を割り当てる空間充足型 (SF-DiVeQ) も提案する。
  論文  参考訳（メタデータ） (2025-09-30T16:17:21Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。 本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。 本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Finite Scalar Quantization: VQ-VAE Made Simple [26.351016719675766]
  我々は、VQ-VAEの潜在表現におけるベクトル量子化(VQ)を、有限スカラー量子化(FSQ)と呼ばれる単純なスキームで置き換えることを提案する。 それぞれの次元と値の数を適切に選択することにより、VQと同じコードブックサイズが得られる。 画像生成にはFSQとMaskGIT,深度推定にはUViMを用いる。
  論文  参考訳（メタデータ） (2023-09-27T09:13:40Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。