論文の概要: Early Quantization Shrinks Codebook: A Simple Fix for Diversity-Preserving Tokenization

• arxiv url: http://arxiv.org/abs/2603.17052v1
• Date: Tue, 17 Mar 2026 18:32:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.351436
• Title: Early Quantization Shrinks Codebook: A Simple Fix for Diversity-Preserving Tokenization
• Title（参考訳）: 初期の量子化がコードブックを削る: 多様性を保ったトークン化のための簡単な修正
• Authors: Wenhao Zhao, Qiran Zou, Rushi Shah, Yudi Wu, Zhouhan Lin, Dianbo Liu,
• Abstract要約: ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。 本研究は,離散コードブックトークンと連続潜伏埋め込みの間で崩壊表現が観察されるベクトル量子化における崩壊問題について,系統的に検討する。
• 参考スコア（独自算出の注目度）: 15.662726701547896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector quantization is a technique in machine learning that discretizes continuous representations into a set of discrete vectors. It is widely employed in tokenizing data representations for large language models, diffusion models, and other generative models. Despite its prevalence, the characteristics and behaviors of vector quantization in generative models remain largely underexplored. In this study, we systematically investigate the issue of collapses in vector quantization, where collapsed representations are observed across discrete codebook tokens and continuous latent embeddings. By leveraging both synthetic and real datasets, we identify the severity of each type of collapses and triggering conditions. Our analysis reveals that random initialization and limited encoder capacity result in tokens collapse and embeddings collapse. Building on these findings, we propose potential solutions aimed at mitigating each collapse. To the best of our knowledge, this is the first comprehensive study examining representation collapsing problems in vector quantization.
• Abstract（参考訳）: ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 大規模な言語モデルや拡散モデル、その他の生成モデルのためのデータ表現のトークン化に広く用いられている。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。 本研究では,離散コードブックトークンと連続潜伏埋め込みの間で崩壊表現が観測されるベクトル量子化における崩壊問題について,系統的に検討する。 合成データセットと実データセットの両方を活用することで、各タイプの崩壊とトリガー条件の重症度を特定する。 分析の結果,ランダム初期化とエンコーダ容量の制限によりトークンは崩壊し,埋め込みは崩壊することがわかった。 これらの知見に基づいて,各崩壊の緩和を目的とした潜在的解決策を提案する。 我々の知る限りでは、ベクトル量子化における表現崩壊問題を調べる最初の総合的研究である。

関連論文リスト

• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study [19.74160064041426]
  ベクトル量子化法における2つの重要な問題は、トレーニング不安定性とコードブックの崩壊である。 We use the Wasserstein distance to conforms these two distributions, achieve almost 100% codebook utilization。 実験的および理論的解析により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-06-18T02:43:40Z)
• Representation Collapsing Problems in Vector Quantization [2.2750239768387255]
  ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。
  論文  参考訳（メタデータ） (2024-11-25T16:32:29Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data [42.517927809224275]
  本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。 潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。 小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
  論文  参考訳（メタデータ） (2022-07-14T19:20:30Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。