論文の概要: MergeTok: Unified Continuous and Discrete Visual Tokenization via Token Merging
- arxiv url: http://arxiv.org/abs/2605.30904v1
- Date: Fri, 29 May 2026 06:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.428613
- Title: MergeTok: Unified Continuous and Discrete Visual Tokenization via Token Merging
- Title（参考訳）: MergeTok:Token Mergingによる統合された継続的かつ離散的なビジュアルトークン化
- Abstract要約: 本稿では,エンコーダ・デコーダアーキテクチャ内で連続(VAE)および離散(VQ)トークンを共同で最適化する統合トークン化ツールであるMergeTokを紹介する。
MergeTokはImageNet-256上で、強力なVAEやVQモデルよりもかなり低いrFIDで、競合する再構築と生成性能を示している。
- 参考スコア（独自算出の注目度）: 41.25982557850732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most visual tokenizers for image generation are bifurcated into two families with complementary limitations: continuous VAEs offer high-fidelity reconstruction but suffer from dense, entangled latents that are poorly suited for semantic control, whereas discrete VQ-based models enable autoregressive generation yet struggle with gradient sparsity, unstable training, and codebook collapse. In this work, we introduce MergeTok, a unified tokenizer that jointly optimizes continuous (VAE) and discrete (VQ) tokenizers within a encoder-decoder architecture, leveraging token merging techniques as a semantic bridge. By clustering similar tokens during encoding, MergeTok establishes a structural prior that provides dual supervision signals: (i) it imposes merged-token semantic alignment in the VAE branch, regularizing its latent space toward disentangled, semantic-aware representations; (ii) it derives group-wise constraints, promoting intra-group diversity and inter-group exclusivity that stabilize VQ training. MergeTok shows competitive reconstruction and generation performance on ImageNet-256, with substantially lower rFID than strong VAE and VQ models under matched token budgets, while producing semantically-organized token representations compatible with both autoregressive and diffusion generators. This shows that a single architecture can endow visual tokenizers with robust semantic organization and generator-friendly discreteness.
- Abstract（参考訳）: 連続VAEは高忠実度再構成を提供するが、セマンティックコントロールに不適な密集した潜伏状態にある。一方、離散VQベースのモデルは自己回帰生成を可能とし、勾配の空間性、不安定なトレーニング、コードブックの崩壊に苦しむ。
本稿では,連続(VAE)および離散(VQ)トークンライザをエンコーダデコーダアーキテクチャ内で共同最適化し,トークンマージ技術をセマンティックブリッジとして活用する統合トークンライザであるMergeTokを紹介する。
エンコーディング中に類似したトークンをクラスタリングすることで、MergeTokは、二重監視信号を提供する構造的事前を確立する。
(i)VAEブランチにマージトケンなセマンティックアライメントを課し、非絡み合いのセマンティックアウェア表現に向けて潜在空間を規則化する。
(II)VQ訓練を安定させる群内多様性と群間排他性を促進する群間制約を導出する。
MergeTokは、ImageNet-256上での競合的な再構築と生成性能を示し、強力なVAEやVQモデルよりもかなり低いrFIDを持つ一方、自動回帰および拡散ジェネレータと互換性のある意味的に組織化されたトークン表現を生成する。
このことは、単一のアーキテクチャが、堅牢なセマンティックな組織とジェネレータフレンドリな離散性を備えた視覚的トークン化を達成できることを示している。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Twins: Learn to Predict Unified Representations with Focal Loss [36.63304689132002]
統一マルチモーダルモデルは、マルチモーダル理解と画像生成の両方をサポートする共有ビジュアルトークン空間を求める。
我々は、同一のトークングリッド上にVTとVAEの機能をチャネル的に連結した、統一された連続トークン空間であるTwinsを提案する。
論文 参考訳（メタデータ） (2026-07-24T17:59:39Z) - Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。
UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。
拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
論文 参考訳（メタデータ） (2026-06-16T17:59:22Z) - WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens [27.89104188378633]
WinTokは視覚的理解と生成のためのハイブリットトークンである。
これは、学習可能なセマンティックトークンのセットでピクセルトークンを補完する。
WinTokは強力なベースラインであるUniTokを11.2%の精度で上回り、競争力のあるrFIDの0.41を達成している。
論文 参考訳（メタデータ） (2026-05-18T09:24:39Z) - Dual-Latent Collaborative Decoding for Fidelity-Perception Balanced Image Compression [35.48235920552014]
本稿では,相補的潜在パラダイム間での責務を分解する,二重遅延協調的復号化フレームワークを提案する。
MoDEは、SQブランチをフィデリティ指向の専門家として、VQブランチを知覚指向の専門家として扱い、2つのデコーダ側モジュールを通じてそれらを調整する。
このフレームワークは、共有デュアルストリームビットストリーム下での選択的クロスレイテンシ協調をサポートし、忠実度アンコールと知覚アンコールの両方のデコーディングを可能にする。
論文 参考訳（メタデータ） (2026-05-14T05:13:23Z) - ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。
視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
論文 参考訳（メタデータ） (2026-01-07T14:09:18Z) - VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳（メタデータ） (2025-11-28T17:26:34Z) - VAEVQ: Enhancing Discrete Visual Tokenization through Variational Modeling [22.005420177236804]
VAEVQは,(1)変分潜時量子化(VLQ),AEを量子化用VOEに置き換えて構造的かつスムーズな潜時空間を活用し,より効率的なコーデックアクティベーションを促進する,(2)表現コヒーレンス戦略(RCS),(2)先行および後列化特徴間のアライメント強度を適応的に調整して整合性を高め,ノイズへの過度適合を防止する,(3)分布整合性正規化(DCR),といった3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-11-10T09:07:23Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。