論文の概要: Patch-Derived or Register Tokens? Comparing Variable-Length Image Tokenizers

• arxiv url: http://arxiv.org/abs/2610.33540v1
• Date: Sat, 24 Oct 2026 08:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.356481
• Title: Patch-Derived or Register Tokens? Comparing Variable-Length Image Tokenizers
• Title（参考訳）: Patch-Derived または Register トークン : 可変長画像トークンとの比較
• Abstract要約: 画像トークンーは、ピクセルを効率的な生成モデリングのためにコンパクトな潜在シーケンスに変換する。 明示的な空間的組織を継承するパッチ由来のトークンと、より要求の多いレジスタトークンの2つの可変長戦略を比較した。 パッチ由来のトークンは極端圧縮条件下では大幅に性能が向上するのに対し,レジスタトークンは中間予算での復元品質が若干向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image tokenizers convert pixels into compact latent sequences for efficient generative modeling. Most approaches arrange latents on a downsampled two-dimensional grid, tying sequence length to image resolution. We compare two variable-length strategies: computationally efficient patch-derived tokens, which inherit explicit spatial organization, and more demanding register tokens, which have no predefined spatial layout. Our reconstruction results reveal that patch-derived tokens perform substantially better under extreme compression, whereas register tokens achieve slightly better reconstruction quality at intermediate budgets. At high token budgets, both approaches achieve similar reconstruction quality. For downstream generative tasks, register tokens outperform patch-derived tokens. Adding representation alignment with external pretrained visual encoders substantially improves the generative performance of patch-derived tokens, allowing them to match or outperform register tokens depending on the token budget. We further find that both approaches learn spatially localized representations. Patch-derived tokens largely retain their explicitly imposed spatial organization, while register tokens develop an implicit two-dimensional spatial structure despite having no predefined layout. Representation alignment reduces this spatial organizational constraint, enabling individual tokens to exert a stronger non-local influence.
• Abstract（参考訳）: 画像トークンーは、ピクセルを効率的な生成モデリングのためにコンパクトな潜在シーケンスに変換する。 殆どのアプローチは、2次元格子上にラテントを配置し、シーケンス長を画像解像度に結びつける。 空間的構造を継承する計算効率のよいパッチ由来トークンと、事前に定義された空間配置を持たないより要求の多いレジスタトークンの2つの可変長戦略を比較した。 復元結果から, パッチ由来のトークンは極端圧縮条件下ではかなり良く, 一方, レジスタトークンは中間予算で若干良く復元できることがわかった。 高いトークン予算では、どちらのアプローチも同様の再構築品質を達成する。 下流の生成タスクでは、トークンはパッチ由来のトークンより優れている。 外部の事前訓練されたビジュアルエンコーダとの表現アライメントを追加することで、パッチ由来のトークンの生成性能が大幅に向上し、トークンの予算に応じてレジスタトークンのマッチや性能が向上する。 さらに,両手法は空間的局所化表現を学習する。 パッチ由来のトークンは明示的な空間構造を保ち、レジスタトークンは事前に定義されたレイアウトを持たないにもかかわらず、暗黙の2次元空間構造を発達させる。 表現アライメントは、この空間的構造的制約を減らし、個々のトークンがより強い非局所的影響を発揮できる。

関連論文リスト

• TrackTok: Object-Centric Video Tokenization with Semantically Persistent Tokens [61.201991859116056]
  TrackTokは、オブジェクト中心のトークンを生成する効率的なビデオトークン化フレームワークである。 提案手法は,フレーム間の視覚的特徴を安定な意味単位に結合する時間的に永続的なオブジェクト中心表現を学習する。 TrackTokは、UCF-101データセット上で、同等のクラス条件生成FVDを8倍の遅延トークンとより優れたレイテンシで達成している。
  論文  参考訳（メタデータ） (2026-10-24T18:57:47Z)
• Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval [10.259144154569947]
  画像のセマンティック情報を1つのディスクリプタに絞ろうとすると、下流の検索性能が損なわれる。 我々は、新しい視覚変換器、グローバル(空間)トークン、および4つのレジスタトークンのセマンティックトークンを拡大する。 当社のアプローチでは,外部境界ボックスやサリエンシモジュールを使わずに,重要な領域を自動的にキャプチャする。
  論文  参考訳（メタデータ） (2026-10-07T23:24:52Z)
• MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training [53.777757218665386]
  MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。 我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
  論文  参考訳（メタデータ） (2026-06-07T19:11:22Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• Improving Flexible Image Tokenizers for Autoregressive Image Generation [53.238708824055664]
  textbfReToKは、アンダーライン冗長なアンダーラインToken Paddingと階層的セマンティック正規化を備えたフレキシブルなトークンライザである。 本手法は, フレキシブルかつ固定長のトークン化器と比較して, 優れた生成性能を実現する。
  論文  参考訳（メタデータ） (2026-01-04T14:11:45Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
  本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
  論文  参考訳（メタデータ） (2024-05-16T03:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。