論文の概要: Semantically Steerable Image Tokenization

• arxiv url: http://arxiv.org/abs/2610.15515v1
• Date: Sun, 11 Oct 2026 10:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 18:14:35.008713
• Title: Semantically Steerable Image Tokenization
• Title（参考訳）: セマンティックにステアブルなイメージトークン化
• Abstract要約: GIST (Guided Image Semantic Tokenizer) は、要求されたセマンティック忠実性に向けて操ることのできる適応型トークンである。 セマンティックターゲットをゼロに固定することにより、画像の描写を保存しつつ、再構成ターゲットを緩和して画素の詳細を破棄することができる。
• 参考スコア（独自算出の注目度）: 70.65642192591649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive image tokenizers compress an image into a variable number of tokens matched to its complexity, and recent work makes this allocation controllable: conditioned on a target reconstruction error, the tokenizer itself decides how many tokens an image needs. However, the fidelity measure guiding this allocation shapes which aspects of the image are preserved under compression. The pixel-wise error used in prior work is blind to the spatial structure that carries an image's meaning, and under heavy compression such tokenizers are prone to abruptly discarding tokens that encode essential content. We introduce GIST (Guided Image Semantic Tokenizer), an adaptive tokenizer that can be steered toward a requested semantic fidelity. Its token allocation is jointly controlled by pixel-level and semantic target errors, with semantic error measured in the feature space of a frozen DINOv3 encoder. This joint control enables semantic protection: with the semantic target fixed at zero, the reconstruction target can be relaxed to discard pixel detail while preserving what the image depicts. In a controlled comparison on ImageNet-100, GIST outperforms its pixel-controlled counterpart KARL at every token count, with up to $30\%$ lower LPIPS and $37\%$ lower DreamSim. On average, lowering its semantic target reduces LPIPS $2\times$ faster per token than lowering the reconstruction target, and up to $5\times$ in the low-token regime. Semantic fidelity is thus an effective control signal for adaptive tokenization: it lets a tokenizer see, and so preserve, what an image depicts.
• Abstract（参考訳）: 適応型画像トークンライザは、その複雑さにマッチする可変数のトークンに画像を圧縮し、最近の研究は、この割り当てを制御可能にしている。 しかし、画像のどの側面が圧縮下に保存されるかをこのアロケーション形状を導く忠実度尺度が導かれる。 先行処理で使用される画素単位の誤差は、画像の意味を持つ空間構造に盲目であり、重い圧縮の下では、そのようなトークン化剤は、必須の内容をエンコードするトークンを突然破棄する傾向がある。 GIST (Guided Image Semantic Tokenizer) は,要求されたセマンティックな忠実度に操れる適応型トークンである。 そのトークン割り当ては、凍結したDINOv3エンコーダの特徴空間で測定されたセマンティックエラーとともに、ピクセルレベルとセマンティックターゲットエラーによって共同制御される。 このジョイントコントロールはセマンティックプロテクションを可能にし、セマンティックターゲットをゼロに固定することで、画像の描写を保存しながら、再構成ターゲットを緩和してピクセルの詳細を破棄することができる。 ImageNet-100のコントロールされた比較では、GISTは各トークン数でピクセル制御のKARLを上回り、最大30 %のLPIPS、37 %のDreamSimを上回ります。 平均して、セマンティックターゲットを下げることによって、LPIPSは、再構築ターゲットを下げるよりもトークンあたり2\times$速くなり、ロートーケン政権では最大5\times$になる。 したがって、意味的忠実性は適応的トークン化のための効果的な制御信号であり、トークン化器は画像が写っているものを見たり保存したりすることができる。

関連論文リスト

• NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
  NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。 標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
  論文  参考訳（メタデータ） (2026-09-29T05:27:53Z)
• AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens [39.0104982235623]
  自己予算の離散1DトークンであるAdaTokを提案する。 AdaTokは、トークンをネストしたテールマスクで注文する優先順位付き表現学習と、Adaptive Token Allocationを組み合わせたものだ。 ImageNet-1Kでは、AdaTok-Fullが256トークンでrFID 1.31に達し、AdaTok-Adaptiveは118トークンでrFID 1.50を達成する。
  論文  参考訳（メタデータ） (2026-06-05T11:49:28Z)
• MacTok: Robust Continuous Tokenization for Image Generation [19.46209544955821]
  textbfMacTokは1D textbfContinuous textbfTokenizerで、コンパクトで堅牢な表現を学ぶ。 MacTokは、画像内の情報領域を強調するためにランダムマスキングとDINO誘導セマンティックマスキングの両方を適用している。 ImageNetでは、MacTokは256$times$256で1.44の競合gFID、SiT-XLで512$times$512で最先端の1.52を達成している。
  論文  参考訳（メタデータ） (2026-03-31T12:00:11Z)
• Composable Visual Tokenizers with Generator-Free Diagnostics of Learnability [30.139325285692568]
  CompTokは、トークンを合成性のために強化した視覚的トークン化者を学ぶためのトレーニングフレームワークである。 InfoGANスタイルの目的を用いて認識モデルを訓練し,拡散復号器の条件に使用するトークンを予測する。 実験では、CompTokが両方のメトリクスを改善するとともに、クラス条件付き生成のための最先端のジェネレータをサポートできることが示されている。
  論文  参考訳（メタデータ） (2026-02-03T10:02:51Z)
• Improving Flexible Image Tokenizers for Autoregressive Image Generation [53.238708824055664]
  textbfReToKは、アンダーライン冗長なアンダーラインToken Paddingと階層的セマンティック正規化を備えたフレキシブルなトークンライザである。 本手法は, フレキシブルかつ固定長のトークン化器と比較して, 優れた生成性能を実現する。
  論文  参考訳（メタデータ） (2026-01-04T14:11:45Z)
• Highly Compressed Tokenizer Can Generate Without Training [0.5033155053523042]
  1D画像トークン化器は、画像を32個の離散トークンの高度に圧縮された1次元シーケンスとして表現する。 ベクトル量子化による1次元トークン化器によって達成される高い圧縮により,画像の編集と生成が可能であることがわかった。 本手法は, 画像編集における画像の塗り絵やテキストガイドに応用でき, 生成モデルの訓練を必要とせず, 多様な実例を生成できる。
  論文  参考訳（メタデータ） (2025-06-09T21:45:03Z)
• Subobject-level Image Tokenization [60.80949852899857]
  パッチベースの画像トークン化は、視覚世界の形態を無視する。 サブワードトークン化にヒントを得て,サブオブジェクトレベルの適応トークンセグメンテーションを導入する。 サブオブジェクトのトークン化は、より少ない視覚トークンを使用しながら、より高速な収束とより優れた一般化を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-02-22T06:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。