論文の概要: Transporting Quantiles to Codebook: Scalable Vector Quantization without Codebook Collapse

• arxiv url: http://arxiv.org/abs/2610.34828v1
• Date: Mon, 26 Oct 2026 04:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.742528
• Title: Transporting Quantiles to Codebook: Scalable Vector Quantization without Codebook Collapse
• Title（参考訳）: 量子をコードブックに転送する:コードブックの崩壊なしにスケーラブルなベクトル量子化
• Abstract要約: FlowVQは、標準的なベクトル量子化に代わる単純だが効果的な方法である。 トレーニングと同時に,軽量なフローマッチングモデルを用いて潜在空間を学習する。 画像のトークン化と生成、および高精度なトークン化を必要とする2つのタスクについて評価する。
• 参考スコア（独自算出の注目度）: 9.945120113367953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective discrete representation learning with VQ-VAE serves as a fundamental component of modern autoregressive generative models. However, it is widely known to suffer from codebook collapse and inefficient code utilization. To address this issue, we propose FlowVQ, a simple yet effective alternative to standard vector quantization by formulating neural quantization as a joint modeling and clustering process. Specifically, we learn the latent space using a lightweight flow matching model alongside training, corresponding to a probability flow ODE that transports an often fixed well-behaved source distribution while preserving probability mass. Based on this, we define the codebook C_1 by transporting even-quantile partitioned prior codes C_0 from the source space through the learned flow, and obtaining the Voronoi centroids under the induced distribution, leading to a structured discretization. We evaluated on image tokenization and generation, as well as on two tasks requiring high-precision tokenization, demonstrating scalability and improved expressivity of the codebook with full utilization.
• Abstract（参考訳）: VQ-VAEを用いた効果的な離散表現学習は、現代の自己回帰生成モデルの基本的な構成要素である。 しかし、コードブックの崩壊と非効率なコード利用に悩まされることが広く知られている。 本稿では,ニューラルネットワークの量子化を連成モデリングとクラスタリングのプロセスとして定式化することで,標準的なベクトル量子化の簡易かつ効果的な代替手段であるFlowVQを提案する。 具体的には,訓練に伴う軽量なフローマッチングモデルを用いて遅延空間を学習し,確率質量を保ったまま,よく固定されたソース分布を伝達する確率フローODEに対応する。 そこで我々は,任意の量子分割された事前符号C_0をソース空間から学習フローに輸送し,誘導分布下でのVoronoiセントロイドを得ることにより,その符号ブックC_1を定義する。 画像のトークン化と生成、高精度なトークン化を必要とする2つのタスク、スケーラビリティの実証、フル活用によるコードブックの表現性の向上について検討した。

関連論文リスト

• VP-VAE: Rethinking Vector Quantization via Adaptive Vector Perturbation [16.334397444253266]
  ベクトル量子変分オートエンコーダ(VQ-VAE)は現代の生成モデルの基礎であるが、しばしばトレーニング不安定性と「コードブック崩壊」に悩まされる。 本稿では,学習中に明示的なコードブックを不要にすることで,表現学習を識別から切り離す新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-19T07:12:43Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization [101.41553763861381]
  本稿では,マルチクラス異常検出における流れの正規化の可能性について検討する。 我々はフローモデルに、教師なしの方法で複数のクラス正規データの異なる概念を区別する権限を与え、結果としてVQ-Flowという新しいフローベース統一手法が生み出された。 提案されたVQ-Flowは、統合トレーニングスキーム内でのマルチクラスの異常検出の最先端を推し進め、MVTec ADで99.5%/98.3%のAUROCが得られる。
  論文  参考訳（メタデータ） (2024-09-02T05:01:41Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
  ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。 教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
  論文  参考訳（メタデータ） (2020-05-18T08:23:41Z)
• Learning on a Grassmann Manifold: CSI Quantization for Massive MIMO Systems [37.499485219254545]
  本稿では,基礎となるチャネル分布に対する平均正規化ビームフォーミングゲインを最大化するビームフォーミングコードブックの設計に焦点をあてる。 我々は,機械学習の基礎となるモデルフリーなデータ駆動型手法を用いて,周囲の伝搬条件に適応するビームフォーミングコードブックを生成する。
  論文  参考訳（メタデータ） (2020-05-18T01:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。