Fugu-MT 論文翻訳(概要): VQ-Transplant: Efficient VQ-Module Integration for Pre-trained Visual Tokenizers

論文の概要: VQ-Transplant: Efficient VQ-Module Integration for Pre-trained Visual Tokenizers

arxiv url: http://arxiv.org/abs/2607.19575v1
Date: Tue, 21 Jul 2026 21:01:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:37.929103
Title: VQ-Transplant: Efficient VQ-Module Integration for Pre-trained Visual Tokenizers
Title（参考訳）: VQ-Transplant:VQ-Module Integration for Pre-trained Visual Tokenizers (特集:VQ-Transplant)
Abstract要約: VQ-Transplantは、新しいVQモジュールを凍結、トレーニング済みのトークン化ツールに統合することを可能にするフレームワークである。移植プロセスは, エンコーダとデコーダのパラメータを全て保持し, コストのかかるエンドツーエンド再トレーニングの必要性を回避している。 VQ-Transplantは、業界レベルのモデルに対して、最先端の再構築フィデリティの獲得を可能にする。
参考スコア（独自算出の注目度）: 17.068345957829635
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vector Quantization (VQ) underpins modern discrete visual tokenization. However, training quantization modules for state-of-the-art VQ-based models requires significant computational resources which, in practice, all but prevents the development of novel, cutting-edge VQ techniques under resource constraints. To address this limitation, we propose {\bf VQ-Transplant}, a simple framework that enables plug-and-play integration of new VQ modules into frozen, pre-trained tokenizers by replacing their native VQ modules. Crucially, the proposed transplantation process preserves all encoder-decoder parameters, obviating the need for costly end-to-end retraining when modifying the quantization method. To mitigate decoder-quantization mismatch, we introduce a lightweight decoder adaptation strategy (trained for only 5 epochs on ImageNet-1k) to align feature priors with the new quantization space. In our empirical evaluation, we find that VQ-Transplant allows obtaining near state-of-the-art reconstruction fidelity for industry-level models like VAR while reducing the training cost by 95\%. VQ-Transplant democratizes quantization research by enabling resource-efficient integration of novel VQ techniques while matching industry-level reconstruction performance.
Abstract（参考訳）: ベクトル量子化(VQ)は、現代の離散的な視覚的トークン化を支える。しかし、最先端のVQベースのモデルのための量子化モジュールのトレーニングには、重要な計算資源が必要である。この制限に対処するために、我々は、新しいVQモジュールを、ネイティブなVQモジュールを置き換えることで、凍結・トレーニング済みのトークン化器にプラグイン・アンド・プレイの統合を可能にする、シンプルなフレームワークである {\bf VQ-Transplant}を提案する。重要なことは, 移植プロセスはエンコーダとデコーダのパラメータを全て保存し, 量子化法を変更する際に, エンドツーエンドの再トレーニングの必要性を回避している。本稿では,デコーダの量子化ミスマッチを軽減するために,新しい量子化空間と特徴量を一致させるために,軽量なデコーダ適応戦略(ImageNet-1kでは5エポックでしか訓練されていない)を導入する。経験的評価では,VQ-Transplantは,VARのような産業レベルのモデルに対して,トレーニングコストを95%削減しつつ,最先端の再構築フィリティの獲得を可能にしている。 VQ-Transplantは、新しいVQ技術を資源効率よく統合し、産業レベルの再構築性能に適合させることで、量子化研究を民主化する。

関連論文リスト

Differentiable Vector Quantization for Rate-Distortion Optimization of Generative Image Compression [53.041405703471895]
低ビットレート画像圧縮のためのエンドツーエンドRD最適化を実現する統一フレームワークRDVQを提案する。我々は,正確なエントロピーモデリングとテスト時間率制御をサポートする自己回帰エントロピーモデルを開発した。 RD2K-valと比較すると、RDVQは DisTSで75.71%、DIV2K-valでLPIPSで37.63%減少する。
論文参考訳（メタデータ） (2026-04-12T09:25:24Z)
Mitigating Premature Discretization with Progressive Quantization for Robust Vector Tokenization [17.805458929887894]
本稿では,VQトレーニングにおいて,量子化硬度の力学を基本的かつ以前は見過ごされていた軸として組み込んだプログレッシブ量子化(ProVQ)を提案する。本稿では,ImageNet-1KとImageNet-100ベンチマークの再構築と生成性能の改善について報告する。 ProVQは複雑な生物学的配列をモデル化し、StrutTokenBenchのリーダーボード上でタンパク質構造のトークン化のための新しいパフォーマンス天井を確立するのに非常に効果的である。
論文参考訳（メタデータ） (2026-03-17T18:03:09Z)
Is Hierarchical Quantization Essential for Optimal Reconstruction? [0.0]
コードブックの利用が不十分な場合,単一レベルのVQ-VAEが制限され,高次元の埋め込みによって量子化が不安定になり,コードブックの崩壊が増加することを示す。その結果,表象予算が一致し,コードブックの崩壊が緩和された場合,単一レベルVQ-VAEは階層的変動の再構成忠実度に適合することを示した。
論文参考訳（メタデータ） (2026-01-29T19:09:50Z)
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文参考訳（メタデータ） (2025-08-21T01:18:27Z)
Quantize-then-Rectify: Efficient VQ-VAE Training [71.92014859992263]
この研究は、VAEの許容しきい値内の量子化ノイズによって、事前訓練されたVAEをVQ-VAEに効率的に変換できることを実証する。我々は、事前学習されたVAEを利用して、最小計算オーバーヘッドで高速なVQ-VAEトレーニングを可能にするフレームワークである textbfQuantize-then-Rectify (ReVQ) を提案する。
論文参考訳（メタデータ） (2025-07-14T17:59:41Z)
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
論文参考訳（メタデータ） (2025-06-13T07:57:38Z)
Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
論文参考訳（メタデータ） (2024-12-19T18:58:14Z)
XQ-GAN: An Open-source Image Tokenization Framework for Autoregressive Generation [54.2574228021317]
XQ-GANは画像再構成と生成の両方のために設計された画像トークン化フレームワークである。我々のフレームワークは、ベクトル量子化(VQ)、残留量子化(RQ)、マルチスケール残留量子化(MSVQ)、製品量子化(PQ)、バイナリ球面量子化(BSQ)など、最先端の量子化技術を統合する。標準の ImageNet 256x256 ベンチマークでは,本モデルが MAGVIT-v2 (0.9 rFID) と VAR (0.9 rFID) を大幅に上回り,0.64 の rFID を達成した。
論文参考訳（メタデータ） (2024-12-02T17:58:06Z)
Few-Shot Image Quality Assessment via Adaptation of Vision-Language Models [93.91086467402323]
Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA) は、視覚言語事前学習モデルのCLIPをIQAタスクに効率よく適応させるように設計されている。 GRMP-IQAは、 (i) Meta-Prompt 事前学習モジュールと (ii) Quality-Aware Gradient Regularization の2つのコアモジュールから構成される。
論文参考訳（メタデータ） (2024-09-09T07:26:21Z)
Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models [3.7906296809297393]
本稿では、VQベースの生成モデルのためのマルチレートコードブック適応フレームワークであるRate-Adaptive Quantization (RAQ)を紹介する。 RAQは、単一のベースラインVQモデルから可変レートのコードブックを生成するために、データ駆動のアプローチを適用する。実験の結果、RAQは複数のレートで効果的に動作し、しばしば従来の固定レートVQベースラインよりも優れていた。
論文参考訳（メタデータ） (2024-05-23T06:32:42Z)
Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
論文参考訳（メタデータ） (2023-05-18T03:08:18Z)
BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction [29.040991149922615]
PTQ(Post-training Quantization)という,エンドツーエンドの再トレーニングを伴わないニューラルネットワーク量子化の課題について検討する。本稿では,PTQ のビット幅制限を INT2 に初めて押し下げる BRECQ という新しい PTQ フレームワークを提案する。初めて、ベルとホイッスルなしで、PTQはQATに匹敵する4ビットのResNetとMobileNetV2を達成でき、量子化されたモデルの240倍高速な生産を享受できることを証明した。
論文参考訳（メタデータ） (2021-02-10T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。