論文の概要: MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
- arxiv url: http://arxiv.org/abs/2610.13181v1
- Date: Fri, 09 Oct 2026 08:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.465294
- Title: MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
- Title（参考訳）: MixTok: グローバル1Dトークンとスパース2Dリファインメントによる適応型視覚トークン化
- Abstract要約: MixTokは、コンパクトな1Dグローバル表現と、局所的な精細化のためのスパース2Dトークンを組み合わせたハイブリッドビジュアルトークンライザである。
ImageNet 256 x 256では、MixTokは非常に競争力のある再構築と生成性能を実現している。
- 参考スコア（独自算出の注目度）: 32.15946942956227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient visual tokenization requires balancing representation compactness with the preservation of fine-grained image content. Conventional grid-based tokenizers allocate tokens uniformly across spatial locations despite non-uniform visual complexity, whereas compact 1D tokenizers aggregate global information but can struggle to preserve local details. We introduce MixTok, a hybrid visual tokenizer that combines a compact 1D global representation with sparse 2D tokens for local refinement. A content-adaptive router ranks candidate locations by refinement priority and determines the number of 2D tokens for each image under a target average token budget. At the highest-scoring locations, 2D token features replace the spatial features recovered from the 1D representation, and a shared decoder reconstructs the image from the resulting mixed features. On ImageNet 256 x 256, MixTok achieves highly competitive reconstruction and generation performance, with an rFID of 1.195 and a gFID of 1.95 at respective average budgets of approximately 128 and 131 content tokens per image.
- Abstract（参考訳）: 効率的な視覚的トークン化には、表現のコンパクトさと微細な画像の保存のバランスが必要である。
従来のグリッドベースのトークンライザは、一様でない視覚的複雑さにもかかわらず、空間的な場所にわたってトークンを均一に割り当てるが、コンパクトな1Dトークンライザはグローバルな情報を集約するが、局所的な詳細を保存するのに苦労する。
そこで我々は,コンパクトな1次元グローバル表現とスパースな2次元トークンを組み合わせて局所的精細化を行うハイブリッドビジュアルトークンライザMixTokを紹介する。
コンテンツ適応ルータは、優先優先度で候補位置をランク付けし、目標平均トークン予算の下で各画像の2Dトークン数を決定する。
最上位の場所では、2Dトークン機能は1D表現から回収された空間的特徴に取って代わられ、共有デコーダは結果の混合特徴から画像を再構成する。
ImageNet 256 x 256では、MixTokは、画像ごとに約128と131のコンテンツトークンの平均予算で、rFID 1.195とgFID 1.95という高い競争力のある再構築と生成性能を達成する。
関連論文リスト
- NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。
標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
論文 参考訳（メタデータ） (2026-09-29T05:27:53Z) - RADIO1D: Elastic Representations for Condensed Vision Modeling [69.84453279129937]
本稿では,視覚言語モデル (VLM) が固定パッチベースの2次元視覚機能を必要とするという仮定に挑戦する。
RADIO1Dは,マルチ教師の知識蒸留とオートエンコーダ設計を用いて,画像をコンパクトで可変長の1Dトークンシーケンスに圧縮する。
結果として得られた表現は、強い階層的な要約を示し、1つのトークンでも正確なシーン理解を可能にし、合成認識画像検索の改善をサポートする。
論文 参考訳（メタデータ） (2026-07-03T22:58:54Z) - From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion [16.593435991566828]
マルチモーダル画像融合は、異なるモーダルからの相補的な情報を融合画像に統合することを目的としている。
非局所的な外見/ベース要素をモデル化するための凍結事前訓練画像トークン化器に基づくコンパクトな1Dトークンインタフェースを提案する。
提案手法は,グローバルコヒーレンスと局所忠実度の両方において,一貫したマルチメトリック改良を施し,全体的な性能を向上する。
論文 参考訳（メタデータ） (2026-06-10T16:40:18Z) - AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens [39.0104982235623]
自己予算の離散1DトークンであるAdaTokを提案する。
AdaTokは、トークンをネストしたテールマスクで注文する優先順位付き表現学習と、Adaptive Token Allocationを組み合わせたものだ。
ImageNet-1Kでは、AdaTok-Fullが256トークンでrFID 1.31に達し、AdaTok-Adaptiveは118トークンでrFID 1.50を達成する。
論文 参考訳（メタデータ） (2026-06-05T11:49:28Z) - Instella-T2I: Pushing the Limits of 1D Discrete Latent Space Image Generation [27.795313102716726]
画像のコンパクトな離散表現のための1次元バイナリ画像ラテントを提案する。
提案手法は, 1次元ラテントのコンパクト性を維持しながら, 高分解能の細部を保存できる。
我々のテキスト・ツー・イメージモデルは、拡散と自己回帰の両方で競合する性能を達成した最初のモデルです。
論文 参考訳（メタデータ） (2025-06-26T05:48:36Z) - Adaptive Length Image Tokenization via Recurrent Allocation [81.10081670396956]
現在の視覚システムは、情報内容に関わらず、画像に一定長の表現を割り当てている。
そこで本研究では,2次元画像に対する可変長トークン表現の学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-04T18:58:01Z) - GlobalMamba: Global Image Serialization for Vision Mamba [73.50475621164037]
視覚マンバは、視覚トークンの数に対して線形複雑度で強い性能を示した。
既存のほとんどの方法はパッチベースの画像トークン化を採用し、因果処理のためにそれらを1Dシーケンスにフラット化する。
本稿では,グローバルな画像シリアライズ手法を提案し,その画像を因果トークンのシーケンスに変換する。
論文 参考訳（メタデータ） (2024-10-14T09:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。