論文の概要: Pushing Toward the Simplex Vertices: A Simple Remedy for Code Collapse in Smoothed Vector Quantization

• arxiv url: http://arxiv.org/abs/2509.22161v1
• Date: Fri, 26 Sep 2025 10:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.364456
• Title: Pushing Toward the Simplex Vertices: A Simple Remedy for Code Collapse in Smoothed Vector Quantization
• Title（参考訳）: Simplex Verticesへのプッシュ: 滑らかなベクトル量子化におけるコード崩壊の簡単な対策
• Authors: Takashi Morita,
• Abstract要約: ベクトル量子化は連続ベクトル空間を有限な代表ベクトルの集合(コードブック)に離散化する 滑らかなベクトル量子化は、コードブックベクトルのハードな割り当てを、コードブックエントリの重み付けの組み合わせに緩和することでこの問題に対処する。 離散画像の自動符号化やコントラスト音声表現学習を含む代表的ベンチマーク実験により,提案手法がより信頼性の高いコードブック利用を実現することを示す。
• 参考スコア（独自算出の注目度）: 0.35534933448684125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector quantization, which discretizes a continuous vector space into a finite set of representative vectors (a codebook), has been widely adopted in modern machine learning. Despite its effectiveness, vector quantization poses a fundamental challenge: the non-differentiable quantization step blocks gradient backpropagation. Smoothed vector quantization addresses this issue by relaxing the hard assignment of a codebook vector into a weighted combination of codebook entries, represented as the matrix product of a simplex vector and the codebook. Effective smoothing requires two properties: (1) smoothed quantizers should remain close to a onehot vector, ensuring tight approximation, and (2) all codebook entries should be utilized, preventing code collapse. Existing methods typically address these desiderata separately. By contrast, the present study introduces a simple and intuitive regularization that promotes both simultaneously by minimizing the distance between each simplex vertex and its $K$-nearest smoothed quantizers. Experiments on representative benchmarks, including discrete image autoencoding and contrastive speech representation learning, demonstrate that the proposed method achieves more reliable codebook utilization and improves performance compared to prior approaches.
• Abstract（参考訳）: 連続ベクトル空間を有限個の代表ベクトル(コードブック)に離散化するベクトル量子化は、現代の機械学習において広く採用されている。 その有効性にもかかわらず、ベクトル量子化は基本的な課題である: 微分不可能な量子化ステップは勾配のバックプロパゲーションをブロックする。 滑らかなベクトル量子化は、コードブックベクトルのハードな割り当てを、単純ベクトルとコードブックの行列積として表されるコードブックエントリの重み付けの組み合わせに緩和することでこの問題に対処する。 効果的な平滑化には2つの特性が必要である: 1) 平滑化量子化器は1ホットベクトルに近づき、厳密な近似を保証する。 現存する方法は通常これらのデシラタを別々に扱う。 対照的に、本研究では、単純かつ直感的な正則化を導入し、各単純頂点と、その$K$-nearestスムーズな量子化器間の距離を最小化することで、両者を同時に促進する。 離散画像の自動符号化やコントラスト音声表現学習を含む代表的ベンチマーク実験により,提案手法がより信頼性の高いコードブック利用を実現し,従来の手法と比較して性能が向上することを示した。

関連論文リスト

• Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study [19.74160064041426]
  ベクトル量子化法における2つの重要な問題は、トレーニング不安定性とコードブックの崩壊である。 We use the Wasserstein distance to conforms these two distributions, achieve almost 100% codebook utilization。 実験的および理論的解析により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-06-18T02:43:40Z)
• Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
  We design an new end-to-end object-aware lifting approach, called Unified-Lift。 コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。 LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2025-03-18T08:42:23Z)
• GaussianToken: An Effective Image Tokenizer with 2D Gaussian Splatting [64.84383010238908]
  本稿では,2次元ガウススプラッティングを解法とする効果的な画像トークン化手法を提案する。 一般に、我々のフレームワークは、2次元ガウス分布の局所的な影響を離散空間に統合する。 CIFAR, Mini-Net, ImageNet-1K 上での競合的再構成性能は,我々のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-26T17:56:11Z)
• Addressing Representation Collapse in Vector Quantized Models with One Linear Layer [13.224989803114632]
  ベクトル量子化(VQ)は教師なし学習における連続表現の離散化に不可欠である。 VQは表現の崩壊に悩まされ、コードブックの利用率が低下し、スケーラビリティが制限される。 遅延ベースで学習可能な線形変換層を通じてコードベクトルを再パラメータ化する textbfSimpletextbfVQ を提案する。
  論文  参考訳（メタデータ） (2024-11-04T12:40:18Z)
• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• Vector Quantization for Deep-Learning-Based CSI Feedback in Massive MIMO Systems [7.934232975873179]
  本稿では,大規模マルチインプットマルチアウトプット(MIMO)システムのための,有限レート深層学習(DL)に基づくチャネル状態情報(CSI)フィードバック手法を提案する。 提案手法は,ベクトル量子化変分オートエンコーダ(VQ-VAE)フレームワークに基づく潜在ベクトルの有限ビット表現を提供する。
  論文  参考訳（メタデータ） (2024-03-12T06:28:41Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Quantum Sparse Coding [5.130440339897477]
  我々はスパース符号化のための量子インスピレーション付きアルゴリズムを開発した。 量子コンピュータとイジングマシンの出現は、より正確な推定につながる可能性がある。 我々はLightrの量子インスパイアされたデジタルプラットフォーム上でシミュレーションデータを用いて数値実験を行う。
  論文  参考訳（メタデータ） (2022-09-08T13:00:30Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。