論文の概要: Distributional Matching for Vector Quantization: A Unified Theoretical and Empirical Framework

• arxiv url: http://arxiv.org/abs/2607.15933v1
• Date: Fri, 17 Jul 2026 13:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.853239
• Title: Distributional Matching for Vector Quantization: A Unified Theoretical and Empirical Framework
• Title（参考訳）: ベクトル量子化のための分布マッチング:統一理論と経験的枠組み
• Abstract要約: 本稿では,ベクトル量子化のための分布マッチングフレームワークを提案する。 どちらの問題も特徴ベクトルとコードベクトルの分布の基本的なミスマッチに追従できることを示す。
• 参考スコア（独自算出の注目度）: 19.918485811165425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The effectiveness of modern visual representation learning and autoregressive models critically depends on vector quantization (VQ), which discretizes continuous feature representations using a learnable codebook. Despite its widespread use, existing VQ methods often suffer from training instability and codebook collapse, arising from gradient mismatch induced by the straight-through estimator and the under-utilization of code vectors. In this work, we show that both issues can be traced to a fundamental mismatch between the distributions of feature vectors and code vectors, leading to inefficient representation and information loss. Building on this observation, we propose a distributional matching framework for vector quantization. We introduce principled criteria for desirable VQ behavior and demonstrate through theoretical analysis and empirical evaluation that aligning feature and code vector distributions provides a unifying mechanism for mitigating training instability and codebook collapse. We instantiate this framework using a Wasserstein-based objective with an efficient closed-form under a mild Gaussian approximation, and further show that a nonparametric alternative based on maximum mean discrepancy yields comparable performance. Extensive experiments on visual tokenization benchmarks support the effectiveness and robustness of the proposed approach.
• Abstract（参考訳）: 現代の視覚表現学習と自己回帰モデルの有効性は、学習可能なコードブックを用いて連続的な特徴表現を識別するベクトル量子化(VQ)に依存する。 広く使われているにもかかわらず、既存のVQメソッドは、ストレートスルー推定器によって引き起こされた勾配ミスマッチやコードベクトルの未使用による、トレーニング不安定性とコードブックの崩壊に悩まされることが多い。 本研究では,両問題を特徴ベクトルとコードベクトルの分布の基本的なミスマッチに追従し,非効率な表現と情報損失をもたらすことを示す。 そこで本研究では,ベクトル量子化のための分布マッチングフレームワークを提案する。 本稿では, 望ましいVQ行動の原理的基準を導入し, 特徴量と符号ベクトル分布の整合性は, トレーニング不安定性とコードブック崩壊を緩和するための統一的なメカニズムを提供する, 理論的解析と経験的評価を通じて実証する。 我々は、このフレームワークを、ガウス近似の下で効率的な閉形式を持つワッサーシュタインに基づく目的を用いてインスタンス化し、さらに、最大平均差分に基づく非パラメトリックな代替が同等の性能を得ることを示す。 ビジュアルトークン化ベンチマークの広範な実験は、提案手法の有効性と堅牢性を支持する。

関連論文リスト

• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study [19.74160064041426]
  ベクトル量子化法における2つの重要な問題は、トレーニング不安定性とコードブックの崩壊である。 We use the Wasserstein distance to conforms these two distributions, achieve almost 100% codebook utilization。 実験的および理論的解析により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-06-18T02:43:40Z)
• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• LL-VQ-VAE: Learnable Lattice Vector-Quantization For Efficient Representations [0.0]
  学習可能な格子ベクトル量子化を導入し、離散表現の学習に有効であることを示す。 LL-VQ-VAEと呼ばれるこの手法は、VQ-VAEのベクトル量子化層を格子ベースの離散化に置き換える。 VQ-VAEと比較して、同じトレーニング条件下での低い再構成誤差、短時間のトレーニング、一定数のパラメータで得られる。
  論文  参考訳（メタデータ） (2023-10-13T20:03:18Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Straightening Out the Straight-Through Estimator: Overcoming Optimization Challenges in Vector Quantized Networks [35.6604960300194]
  本研究は,ベクトル量子化を用いたニューラルネットワークのストレートスルー推定による学習課題について検討する。 トレーニング不安定の主な原因は,モデル埋め込みとコードベクトル分布の相違である。 この問題に寄与する要因として,コードブックの勾配幅やコミットメント損失の非対称性などを挙げる。
  論文  参考訳（メタデータ） (2023-05-15T17:56:36Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。