論文の概要: LooC: Effective Low-Dimensional Codebook for Compositional Vector Quantization

• arxiv url: http://arxiv.org/abs/2601.00222v1
• Date: Thu, 01 Jan 2026 06:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.320811
• Title: LooC: Effective Low-Dimensional Codebook for Compositional Vector Quantization
• Title（参考訳）: LooC: 構成ベクトル量子化のための効率的な低次元コードブック
• Authors: Jie Li, Kwan-Yee K. Wong, Kai Han,
• Abstract要約: ベクトル量子化(英: Vector Quantization、VQ)とは、連続的な特徴ベクトルをコードブックを用いて近似することで離散化する手法である。 本稿では,合成ベクトル量子化に有効な低次元コードブックであるLooCを提案する。
• 参考スコア（独自算出の注目度）: 34.39351764883663
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vector quantization (VQ) is a prevalent and fundamental technique that discretizes continuous feature vectors by approximating them using a codebook. As the diversity and complexity of data and models continue to increase, there is an urgent need for high-capacity, yet more compact VQ methods. This paper aims to reconcile this conflict by presenting a new approach called LooC, which utilizes an effective Low-dimensional codebook for Compositional vector quantization. Firstly, LooC introduces a parameter-efficient codebook by reframing the relationship between codevectors and feature vectors, significantly expanding its solution space. Instead of individually matching codevectors with feature vectors, LooC treats them as lower-dimensional compositional units within feature vectors and combines them, resulting in a more compact codebook with improved performance. Secondly, LooC incorporates a parameter-free extrapolation-by-interpolation mechanism to enhance and smooth features during the VQ process, which allows for better preservation of details and fidelity in feature approximation. The design of LooC leads to full codebook usage, effectively utilizing the compact codebook while avoiding the problem of collapse. Thirdly, LooC can serve as a plug-and-play module for existing methods for different downstream tasks based on VQ. Finally, extensive evaluations on different tasks, datasets, and architectures demonstrate that LooC outperforms existing VQ methods, achieving state-of-the-art performance with a significantly smaller codebook.
• Abstract（参考訳）: ベクトル量子化(英: Vector Quantization、VQ)は、連続的な特徴ベクトルをコードブックを用いて近似することで区別する、一般的で基本的な手法である。 データとモデルの多様性と複雑さが増し続けているため、高容量だがよりコンパクトなVQ手法が緊急に必要となる。 本稿では,合成ベクトル量子化に有効な低次元コードブックであるLooCを提案することで,この対立を解消することを目的とする。 まず、LooCは、コーデクターと特徴ベクトルの関係を緩和し、その解空間を大幅に拡張することで、パラメータ効率のよいコードブックを導入する。 コードベクターと特徴ベクトルを個別にマッチングする代わりに、LooCはこれらを特徴ベクトル内の低次元の合成単位として扱い、それらを組み合わせることにより、よりコンパクトなコードブックと性能の向上を実現している。 第二に、LooCはパラメータフリーな補間補間機構を導入し、VQプロセス中の機能を円滑に拡張し、特徴近似の細部と忠実度をよりよく保存できるようにする。 LooCの設計は完全なコードブックの使用につながり、崩壊の問題を回避しつつ、コンパクトなコードブックを効果的に活用する。 第3に、LooCはVQに基づいたさまざまなダウンストリームタスクのための既存のメソッドのためのプラグイン・アンド・プレイモジュールとして機能する。 最後に、さまざまなタスク、データセット、アーキテクチャに関する広範な評価は、LooCが既存のVQメソッドよりも優れており、かなり小さなコードブックで最先端のパフォーマンスを実現していることを示している。

関連論文リスト

• Group-Wise Optimization for Self-Extensible Codebooks in Vector Quantized Models [22.7968403903992]
  VQ-VAEは自己教師付き学習を利用して、コードブックの最も近いベクトルを用いて連続ベクトルを表現する。 既存のアプローチでは暗黙の静的コードブックを使用するか、コードブック全体を共同で最適化するが、これらの手法はコードブックの学習能力を制限している。 コードブック上でグループワイズ最適化を行うグループVQを提案する。
  論文  参考訳（メタデータ） (2025-10-15T09:14:22Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Dual Codebook VQ: Enhanced Image Reconstruction with Reduced Codebook Size [0.0]
  ベクトル量子化(VQ)技術は、コードブック利用における課題に直面し、画像モデリングにおける再構成忠実度を制限する。 本稿では,表現を補完的なグローバルコンポーネントとローカルコンポーネントに分割することで,この制限を効果的に解決するDual Codebookメカニズムを提案する。 提案手法は,様々な画像領域,特にシーンや顔の再構成作業において優れたFID改善を実現する。
  論文  参考訳（メタデータ） (2025-03-13T19:31:18Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• Balance of Number of Embedding and their Dimensions in Vector Quantization [11.577770138594436]
  本研究では,Vector Quantized Variational Autoencoder (VQ-VAE)アーキテクチャにおけるコードブックサイズと埋め込み寸法のバランスについて検討した。 本稿では,Gumbel-Softmax機構を基盤とした適応的動的量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T03:07:31Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。