論文の概要: Group-Wise Optimization for Self-Extensible Codebooks in Vector Quantized Models

• arxiv url: http://arxiv.org/abs/2510.13331v1
• Date: Wed, 15 Oct 2025 09:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.592878
• Title: Group-Wise Optimization for Self-Extensible Codebooks in Vector Quantized Models
• Title（参考訳）: ベクトル量子化モデルにおける自己拡張性コードブックの群幅最適化
• Authors: Hong-Kai Zheng, Piji Li,
• Abstract要約: VQ-VAEは自己教師付き学習を利用して、コードブックの最も近いベクトルを用いて連続ベクトルを表現する。 既存のアプローチでは暗黙の静的コードブックを使用するか、コードブック全体を共同で最適化するが、これらの手法はコードブックの学習能力を制限している。 コードブック上でグループワイズ最適化を行うグループVQを提案する。
• 参考スコア（独自算出の注目度）: 22.7968403903992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Quantized Variational Autoencoders (VQ-VAEs) leverage self-supervised learning through reconstruction tasks to represent continuous vectors using the closest vectors in a codebook. However, issues such as codebook collapse persist in the VQ model. To address these issues, existing approaches employ implicit static codebooks or jointly optimize the entire codebook, but these methods constrain the codebook's learning capability, leading to reduced reconstruction quality. In this paper, we propose Group-VQ, which performs group-wise optimization on the codebook. Each group is optimized independently, with joint optimization performed within groups. This approach improves the trade-off between codebook utilization and reconstruction performance. Additionally, we introduce a training-free codebook resampling method, allowing post-training adjustment of the codebook size. In image reconstruction experiments under various settings, Group-VQ demonstrates improved performance on reconstruction metrics. And the post-training codebook sampling method achieves the desired flexibility in adjusting the codebook size.
• Abstract（参考訳）: ベクトル量子変分オートコーダ(VQ-VAE)は、再構成タスクを通じて自己教師付き学習を利用して、コードブックの最も近いベクトルを用いて連続ベクトルを表現する。 しかし、VQモデルでは、コードブックの崩壊などの問題が続いている。 これらの問題に対処するため、既存のアプローチでは暗黙の静的コードブックを採用するか、コードブック全体を共同で最適化するが、これらの手法はコードブックの学習能力を制限し、再構築品質を低下させる。 本稿では,コードブック上でグループワイズ最適化を行うグループVQを提案する。 各グループは独立に最適化され、グループ内で共同最適化が行われる。 このアプローチは、コードブックの利用と再構築のパフォーマンスのトレードオフを改善する。 さらに、トレーニング不要なコードブック再サンプリング手法を導入し、コードブックサイズをトレーニング後の調整を可能にした。 様々な環境下での画像再構成実験において、Group-VQは再構成メトリクスの性能改善を示す。 また,学習後のコードブックサンプリング手法は,コードブックサイズを調整する際の所望の柔軟性を実現する。

関連論文リスト

• Scalable Training for Vector-Quantized Networks with 100% Codebook Utilization [60.294965457786844]
  ベクトル量子化(VQ)は、画像生成のための離散トークン化器において重要な要素である。 VQBridgeは、地図関数法に基づく堅牢でスケーラブルで効率的なプロジェクタである。 FVQは262kのコードブックでも100%のコードブック利用が可能である。
  論文  参考訳（メタデータ） (2025-09-12T11:08:21Z)
• Dual Codebook VQ: Enhanced Image Reconstruction with Reduced Codebook Size [0.0]
  ベクトル量子化(VQ)技術は、コードブック利用における課題に直面し、画像モデリングにおける再構成忠実度を制限する。 本稿では,表現を補完的なグローバルコンポーネントとローカルコンポーネントに分割することで,この制限を効果的に解決するDual Codebookメカニズムを提案する。 提案手法は,様々な画像領域,特にシーンや顔の再構成作業において優れたFID改善を実現する。
  論文  参考訳（メタデータ） (2025-03-13T19:31:18Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LL-VQ-VAE: Learnable Lattice Vector-Quantization For Efficient Representations [0.0]
  学習可能な格子ベクトル量子化を導入し、離散表現の学習に有効であることを示す。 LL-VQ-VAEと呼ばれるこの手法は、VQ-VAEのベクトル量子化層を格子ベースの離散化に置き換える。 VQ-VAEと比較して、同じトレーニング条件下での低い再構成誤差、短時間のトレーニング、一定数のパラメータで得られる。
  論文  参考訳（メタデータ） (2023-10-13T20:03:18Z)
• EdVAE: Mitigating Codebook Collapse with Evidential Discrete Variational Autoencoders [11.086500036180222]
  コードブックの崩壊は、離散表現空間を持つ深層生成モデルの訓練において一般的な問題である。 本稿では,dVAEのコードブック崩壊問題に対処するために,ソフトマックスの代わりに顕在的深層学習(EDL)を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-09T13:39:26Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Exploring Continual Learning for Code Generation Models [80.78036093054855]
  継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。 コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。 即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
  論文  参考訳（メタデータ） (2023-07-05T16:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。