論文の概要: StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training

• arxiv url: http://arxiv.org/abs/2609.26774v1
• Date: Tue, 22 Sep 2026 17:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.776668
• Title: StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
• Title（参考訳）: StableVQ: 安定ベクトル量子化トケナイザトレーニングの実践的ガイドライン
• Abstract要約: 私たちは、根本原因は--DecoderとCodebookのトレーニングの絡み合いにあると論じています。 本稿では,各モジュールの適切な学習目標を再考するStableVQを提案する。 ImageNetの実験では、トレーニングの安定性、コードブックの利用、再構築品質が一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 51.02041071076437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Quantization (VQ) is fundamental to discrete visual tokenizers that power modern autoregressive and masked image generation models. While recent shared-projection codebook methods have substantially advanced codebook utilization, training stability remains a critical and underexplored challenge. We argue that the root cause lies in the entanglement of the Encoder--Decoder and Codebook training: because neither module can reliably fulfill its own responsibility in isolation, the system can only function when the two subsystems happen to cooperate---a fragile condition that breaks down precisely when training is most stressed. We propose StableVQ, which revisits the proper learning objective of each module and resolves the problems that arise when each is trained to fulfill its own role independently. Concretely, (1) Dynamic STE corrects the instability in the Encoder's learning objective, enabling it to robustly optimize the reconstruction space under discrete regularization even when codebook utilization is low. (2) Region VQ Loss reconceives the Codebook's learning objective so that it can independently guarantee full tracking of the encoder output distribution, without relying on encoder oscillations to drive activation. (3) Decoupled Schedule recognizes that the distinct responsibilities of the Encoder--Decoder and the Codebook demand distinct optimization dynamics, and assigns each an independent learning rate schedule to ensure robust system-level behavior. Built on top of shared-projection codebooks, StableVQ is lightweight and introduces no learnable parameters. Experiments on ImageNet demonstrate consistent improvements in training stability, codebook utilization, and reconstruction quality across diverse codebook sizes and initialization settings.
• Abstract（参考訳）: ベクトル量子化(VQ)は、現代の自己回帰およびマスク付き画像生成モデルを動かす離散的な視覚トークン化器の基本である。 最近の共有プロジェクションのコードブック手法はコードブックの利用が大幅に進んでいるが、トレーニングの安定性は重要な課題であり、未解決の課題である。 私たちは、エンコーダ-デコーダとコードブックのトレーニングの絡み合いに根本原因があると主張している。どちらのモジュールも独立して自身の責任を確実に果たすことができないため、システムは2つのサブシステムが協調する時にのみ機能する。 本稿では、各モジュールの適切な学習目標を再考し、各モジュールが独立した役割を果たすように訓練されたときに生じる問題を解消するStableVQを提案する。 具体的には、(1)動的STEは、エンコーダの学習目標における不安定性を補正し、コードブック利用率が低い場合でも、離散正規化の下で復元空間を堅牢に最適化する。 2) 領域VQ損失は,Codebookの学習目標を再認識し,エンコーダの出力分布の完全なトラッキングを,アクティベーションの駆動にエンコーダの振動に依存することなく,独立して保証できるようにする。 (3) Decoupled Schedule は,Encoder-Decoder と Codebook の異なる責務は,それぞれの独立した学習率スケジュールを割り当て,堅牢なシステムレベルの動作を保証する。 共有プロジェクションのコードブック上に構築されたStableVQは軽量で、学習可能なパラメータを導入していない。 ImageNetの実験では、トレーニングの安定性、コードブックの利用、さまざまなコードブックサイズと初期化設定の再構築品質が一貫した改善を示している。

関連論文リスト

• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• VP-VAE: Rethinking Vector Quantization via Adaptive Vector Perturbation [16.334397444253266]
  ベクトル量子変分オートエンコーダ(VQ-VAE)は現代の生成モデルの基礎であるが、しばしばトレーニング不安定性と「コードブック崩壊」に悩まされる。 本稿では,学習中に明示的なコードブックを不要にすることで,表現学習を識別から切り離す新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-19T07:12:43Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Group-Wise Optimization for Self-Extensible Codebooks in Vector Quantized Models [22.7968403903992]
  VQ-VAEは自己教師付き学習を利用して、コードブックの最も近いベクトルを用いて連続ベクトルを表現する。 既存のアプローチでは暗黙の静的コードブックを使用するか、コードブック全体を共同で最適化するが、これらの手法はコードブックの学習能力を制限している。 コードブック上でグループワイズ最適化を行うグループVQを提案する。
  論文  参考訳（メタデータ） (2025-10-15T09:14:22Z)
• Scalable Training for Vector-Quantized Networks with 100% Codebook Utilization [60.294965457786844]
  ベクトル量子化(VQ)は、画像生成のための離散トークン化器において重要な要素である。 VQBridgeは、地図関数法に基づく堅牢でスケーラブルで効率的なプロジェクタである。 FVQは262kのコードブックでも100%のコードブック利用が可能である。
  論文  参考訳（メタデータ） (2025-09-12T11:08:21Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
  ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。 教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
  論文  参考訳（メタデータ） (2020-05-18T08:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。