論文の概要: SoftVQ-VAE: Efficient 1-Dimensional Continuous Tokenizer

• arxiv url: http://arxiv.org/abs/2412.10958v2
• Date: Fri, 20 Dec 2024 16:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:30.855897
• Title: SoftVQ-VAE: Efficient 1-Dimensional Continuous Tokenizer
• Title（参考訳）: SoftVQ-VAE: 効率的な1次元連続トケナイザ
• Authors: Hao Chen, Ze Wang, Xiang Li, Ximeng Sun, Fangyi Chen, Jiang Liu, Jindong Wang, Bhiksha Raj, Zicheng Liu, Emad Barsoum,
• Abstract要約: SoftVQ-VAEは、ソフトカテゴリ後部を利用して複数のコードワードを各潜在トークンに集約する連続画像トークンである。 提案手法は,32または64個の1次元トークンを用いて256x256および512x512画像を圧縮する。 興味深いことに、SoftVQ-VAEは256x256画像を生成するために最大18倍の推論スループットを向上し、512x512画像に対して55倍である。
• 参考スコア（独自算出の注目度）: 45.720721058671856
• License:
• Abstract: Efficient image tokenization with high compression ratios remains a critical challenge for training generative models. We present SoftVQ-VAE, a continuous image tokenizer that leverages soft categorical posteriors to aggregate multiple codewords into each latent token, substantially increasing the representation capacity of the latent space. When applied to Transformer-based architectures, our approach compresses 256x256 and 512x512 images using as few as 32 or 64 1-dimensional tokens. Not only does SoftVQ-VAE show consistent and high-quality reconstruction, more importantly, it also achieves state-of-the-art and significantly faster image generation results across different denoising-based generative models. Remarkably, SoftVQ-VAE improves inference throughput by up to 18x for generating 256x256 images and 55x for 512x512 images while achieving competitive FID scores of 1.78 and 2.21 for SiT-XL. It also improves the training efficiency of the generative models by reducing the number of training iterations by 2.3x while maintaining comparable performance. With its fully-differentiable design and semantic-rich latent space, our experiment demonstrates that SoftVQ-VAE achieves efficient tokenization without compromising generation quality, paving the way for more efficient generative models. Code and model are released.
• Abstract（参考訳）: 圧縮率の高い効率的な画像トークン化は、生成モデルを訓練する上で重要な課題である。 ソフトカテゴリ後部を利用して複数のコードワードを各潜在トークンに集約する連続画像化器であるSoftVQ-VAEを提案し,潜在空間の表現能力を大幅に向上させる。 Transformerベースのアーキテクチャに適用すると、256x256および512x512の画像を32または64個の1次元トークンで圧縮する。 SoftVQ-VAEは、一貫した高品質な再構成を示すだけでなく、より重要なことは、様々なデノナイジングベースの生成モデルに対して、最先端ではるかに高速な画像生成結果を達成することである。 注目すべきことに、SoftVQ-VAEは、256x256イメージと512x512イメージの55xを生成するために最大18倍の推論スループットを向上し、SiT-XLでは1.78と2.21の競合的なFIDスコアを達成している。 また、比較性能を維持しながら、トレーニングイテレーション数を2.3倍にすることで、生成モデルのトレーニング効率も向上する。 完全微分可能な設計とセマンティックリッチ潜在空間を用いて,SoftVQ-VAEが生成品質を損なうことなく効率的なトークン化を実現し,より効率的な生成モデルを実現する方法を示す。 コードとモデルがリリースされている。

関連論文リスト

• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• MaskBit: Embedding-free Image Generation via Bit Tokens [54.827480008982185]
  我々は,VQGANの実証的,体系的な検討を行い,近代化されたVQGANを導いた。 第2のコントリビューションは、ビットトークンを用いた埋め込み不要な画像生成が、ImageNet 256x256ベンチマークで1.52の最先端のFIDを達成することを示した。
  論文  参考訳（メタデータ） (2024-09-24T16:12:12Z)
• An Image is Worth 32 Tokens for Reconstruction and Generation [54.24414696392026]
  Transformer-based 1-dimensional Tokenizer (TiTok) は、画像を1D潜在シーケンスにトークン化する革新的なアプローチである。 TiTokは最先端のアプローチと競合するパフォーマンスを実現している。 我々の最高性能の変種は、DiT-XL/2 (gFID 2.13 vs. 3.04) をはるかに上回りながら、高品質なサンプルを74倍高速に生成できる。
  論文  参考訳（メタデータ） (2024-06-11T17:59:56Z)
• ConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Models [77.59651787115546]
  高解像度のLMM(Large Multimodal Models)は、過度な視覚トークンと二次的な視覚的複雑さの課題に直面する。 本稿では,LMMのビジュアルエンコーダとして,階層的なバックボーンであるConvNeXtを用いるConvLLaVAを提案する。 ConvLLaVAは高解像度画像を情報豊富な視覚特徴に圧縮し、過剰な視覚トークンの発生を効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-24T17:34:15Z)
• Vector-quantized Image Modeling with Improved VQGAN [93.8443646643864]
  本稿では,自動回帰的に画像トークンを予測するためにトランスフォーマーを事前訓練するベクトル量子化画像モデリング手法を提案する。 まず,バニラVQGANに対して,アーキテクチャからコードブック学習までの複数の改良を提案する。 ImageNetで256x256解像度でトレーニングすると、175.1のインセプションスコア(IS)と4.17のFrechet Inception Distance(FID)を達成する。
  論文  参考訳（メタデータ） (2021-10-09T18:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。