論文の概要: Scalable Image Tokenization with Index Backpropagation Quantization

• arxiv url: http://arxiv.org/abs/2412.02692v2
• Date: Mon, 10 Mar 2025 09:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:50:05.469984
• Title: Scalable Image Tokenization with Index Backpropagation Quantization
• Title（参考訳）: インデックスバックプロパゲーション量子化によるスケーラブルな画像トークン化
• Authors: Fengyuan Shi, Zhuoyan Luo, Yixiao Ge, Yujiu Yang, Ying Shan, Limin Wang,
• Abstract要約: インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
• 参考スコア（独自算出の注目度）: 74.15447383432262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing vector quantization (VQ) methods struggle with scalability, largely attributed to the instability of the codebook that undergoes partial updates during training. The codebook is prone to collapse as utilization decreases, due to the progressively widening distribution gap between non-activated codes and visual features. To solve the problem, we propose Index Backpropagation Quantization (IBQ), a new VQ method for the joint optimization of all codebook embeddings and the visual encoder. Applying a straight-through estimator on the one-hot categorical distribution between the encoded feature and codebook, all codes are differentiable and maintain a consistent latent space with the visual encoder. IBQ enables scalable training of visual tokenizers and, for the first time, achieves a large-scale codebook ($2^{18}$) with high dimension ($256$) and high utilization. Experiments on the standard ImageNet benchmark demonstrate the scalability and superiority of IBQ, achieving competitive results on reconstruction and the application of autoregressive visual generation. The code and models are available at https://github.com/TencentARC/SEED-Voken.
• Abstract（参考訳）: 既存のベクトル量子化(VQ)メソッドは、トレーニング中に部分的な更新を行うコードブックの不安定さに起因するスケーラビリティに苦慮している。 非アクティブなコードと視覚的特徴の間の分散ギャップが徐々に広がるため、コードブックは利用が減少するにつれて崩壊しがちである。 そこで本研究では,すべてのコードブック埋め込みとビジュアルエンコーダの協調最適化のための新しいVQ手法であるIndex Backproagation Quantization (IBQ)を提案する。 符号化された特徴とコードブックの間の1ホットのカテゴリ分布にストレートスルー推定器を適用すると、すべてのコードは微分可能であり、ビジュアルエンコーダと一貫した潜伏空間を維持する。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブック(2^{18}$)を達成する。 標準的なImageNetベンチマークの実験では、IBQのスケーラビリティと優位性を実証し、再構築と自動回帰視覚生成の競争的な結果を得た。 コードとモデルはhttps://github.com/TencentARC/SEED-Voken.comで公開されている。

関連論文リスト

• Beyond Stationarity: Rethinking Codebook Collapse in Vector Quantization [12.305907179979426]
  エンコーダがドリフトすると、未選択のコードベクトルは更新を受け取れなくなり、徐々に非アクティブになる。 そこで我々は,NSVQ(Non-Stationary Vector Quantization)とTransformer-based Vector Quantization(TransVQ)の2つの新しい手法を提案する。 CelebA-HQデータセットの実験では、どちらの手法もほぼ完全なコードブックの利用と再現性の向上を実現している。
  論文  参考訳（メタデータ） (2026-02-21T16:36:50Z)
• Switchable Token-Specific Codebook Quantization For Face Image Compression [72.44596412563503]
  顔画像圧縮のための切り換え可能なToken-Specific Codebook Quantizationを提案する。 トークンが少量のビットを持つコードブックグループを記録することで,コードブックグループのサイズを小さくする場合に発生する損失を低減することができる。 提案手法は顔認識データに対して有効性を示し,0.05bppの再構成画像に対して平均93.51%の精度を実現した。
  論文  参考訳（メタデータ） (2025-10-27T02:56:17Z)
• Codebook-Based Adaptive Feature Compression With Semantic Enhancement for Edge-Cloud Systems [20.88178006915217]
  CAFC-SEは、セマンティックエンハンスメントを備えたコードブックベースのAdaptive Feature Compressionフレームワークである。 連続した視覚的特徴を、Vector Quantization (VQ)を介してエッジのコードブックで離散的なインデックスにマッピングし、それをクラウドに選択的に送信する。 最寄りの視覚的プリミティブに特徴ベクトルを投影するVQ操作により、低ビットレート条件下でより情報的な視覚的パターンを保存できる。
  論文  参考訳（メタデータ） (2025-09-23T00:34:12Z)
• Scalable Training for Vector-Quantized Networks with 100% Codebook Utilization [60.294965457786844]
  ベクトル量子化(VQ)は、画像生成のための離散トークン化器において重要な要素である。 VQBridgeは、地図関数法に基づく堅牢でスケーラブルで効率的なプロジェクタである。 FVQは262kのコードブックでも100%のコードブック利用が可能である。
  論文  参考訳（メタデータ） (2025-09-12T11:08:21Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• CODA: Repurposing Continuous VAEs for Discrete Tokenization [52.58960429582813]
  textbfCODA(textbfCOntinuous-to-textbfDiscrete textbfAdaptation)は、圧縮と離散化を分離するフレームワークである。 提案手法は,ImageNet 256$times$256ベンチマークにおいて,$mathbf0.43$と$mathbf1.34$を8倍,$16倍の圧縮で,100%のコードブック利用と注目すべき再構成FID(rFID)を実現している。
  論文  参考訳（メタデータ） (2025-03-22T12:59:00Z)
• Dual Codebook VQ: Enhanced Image Reconstruction with Reduced Codebook Size [0.0]
  ベクトル量子化(VQ)技術は、コードブック利用における課題に直面し、画像モデリングにおける再構成忠実度を制限する。 本稿では,表現を補完的なグローバルコンポーネントとローカルコンポーネントに分割することで,この制限を効果的に解決するDual Codebookメカニズムを提案する。 提案手法は,様々な画像領域,特にシーンや顔の再構成作業において優れたFID改善を実現する。
  論文  参考訳（メタデータ） (2025-03-13T19:31:18Z)
• SSVQ: Unleashing the Potential of Vector Quantization with Sign-Splitting [7.663974702092357]
  本稿では,新たなVQパラダイムであるSign-Splitting VQ(SSVQ)を紹介する。 SSVQは従来のVQに比べて圧縮精度のトレードオフがかなり優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:52:48Z)
• Factorized Visual Tokenization and Generation [37.56136469262736]
  本稿では,大規模なコードブックを複数の独立したサブコードブックに分解することで,VQベースのトークン化を活性化する新しい手法であるFacterized Quantization(FQ)を紹介する。 このファクター化は、大規模なコードブックのルックアップの複雑さを低減し、より効率的でスケーラブルなビジュアルトークン化を可能にします。 実験により,提案したFQGANモデルにより,視覚トークンの再現品質が大幅に向上し,最先端の性能が達成された。
  論文  参考訳（メタデータ） (2024-11-25T18:59:53Z)
• Image Understanding Makes for A Good Tokenizer for Image Generation [62.875788091204626]
  我々は,トークンシーケンスにイメージを投影する効果的なトークン化器に依存する,トークンベースのIGフレームワークを提案する。 我々は、強力なIU機能を持つトークン化装置が、さまざまなメトリクス、データセット、タスク、提案ネットワークで優れたIG性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-11-07T03:55:23Z)
• Addressing Representation Collapse in Vector Quantized Models with One Linear Layer [10.532262196027752]
  ベクトル量子化(英: Vector Quantization, VQ)は、連続表現を離散符号に変換する方法である。 VQモデルは、潜在空間における表現崩壊の問題によってしばしば妨げられる。 線形変換層を通じてコードベクトルを再パラメータ化する新しい手法である textbfSimVQ を提案する。
  論文  参考訳（メタデータ） (2024-11-04T12:40:18Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。 本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。 本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Codebook Transfer with Part-of-Speech for Vector-Quantized Image Modeling [15.132926378740882]
  本稿では、事前学習された言語モデルからVQIMへ、十分に訓練されたコードブックを転送することを目的とした、VQCTというパート・オブ・音声による新しいコードブック転送フレームワークを提案する。 4つのデータセットに対する実験結果から,VQCT法は従来の最先端手法よりも優れたVQIM性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-15T07:24:13Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Dual Associated Encoder for Face Restoration [68.49568459672076]
  低品質(LQ)画像から顔の詳細を復元するために,DAEFRという新しいデュアルブランチフレームワークを提案する。 提案手法では,LQ入力から重要な情報を抽出する補助的なLQ分岐を導入する。 合成と実世界の両方のデータセットに対するDAEFRの有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-14T17:58:33Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder [83.63843671885716]
  本稿では,VQFRを用いた顔復元手法を提案する。 VQFRは高品質な顔から抽出された高品質の低レベル特徴バンクを利用する。 VQコードブックから生成されたリアルな詳細を「汚染」せず、入力から低レベルな特徴をさらに融合させるため、並列デコーダを提案する。
  論文  参考訳（メタデータ） (2022-05-13T17:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。