論文の概要: FeaTok: Feature-Loss Tokenization for Image Generation

• arxiv url: http://arxiv.org/abs/2610.22060v1
• Date: Thu, 15 Oct 2026 15:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.157509
• Title: FeaTok: Feature-Loss Tokenization for Image Generation
• Title（参考訳）: FeaTok: 画像生成のための機能損失トークン化
• Abstract要約: 画素ではなく予め訓練された特徴を再構成することで、個別のトークンを訓練するFeaTok(FeaTok)を導入する。 FeaTokは3つのベンチマークで連続的かつ離散的なテキスト条件ベースラインを超えており、事前トレーニング後の微調整はわずか500である。
• 参考スコア（独自算出の注目度）: 26.35372456073046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete image generators learn the distribution of tokens produced by an image tokenizer. These token representations should be easy for generators to model, not merely enable faithful image reconstruction. Yet these tokenizers are commonly trained to reconstruct pixels, which prioritizes low-level fidelity and may disrupt representation structure useful for generation. Motivated by feature-predictive self-supervised learning, we introduce feature-loss tokenization (FeaTok), which trains discrete tokens by reconstructing pretrained features rather than pixels. Ablations across SigLIP, SigLIP2, DINOv2, and DINOv3 show better generative performance with FeaTok. In class-conditional generation, FeaTok advances the quality-compute Pareto frontier, reducing gFDr6 at 256x256 by up to 29 percent over the strongest discrete baselines and outperforming the strongest unguided continuous baseline (RAEv2) with 38 times less sampling compute. FeaTok also achieves higher human-preference reward-model scores than prior art without reward-based training and surpasses continuous and discrete text-conditional baselines on three benchmarks with only 500 fine-tuning updates after pre-training.
• Abstract（参考訳）: 離散画像生成器は、画像トークン化器によって生成されたトークンの分布を学習する。 これらのトークン表現は、単に忠実なイメージ再構成を可能にするのではなく、ジェネレータがモデル化するのが簡単であるべきである。 しかし、これらのトークン化剤は、低レベルの忠実度を優先し、生成に有用な表現構造を破壊するピクセルを再構成するために一般的に訓練されている。 特徴予測型自己教師型学習(FeaTok)によって動機づけられた特徴量トークン化(FeaTok)を導入する。 SigLIP、SigLIP2、DINOv2、DINOv3間のアブレーションは、FeaTokでより優れた生成性能を示す。 クラス条件生成では、FeaTokは品質計算のParetoフロンティアを前進させ、gFDr6を256x256で最大で29%削減し、38倍のサンプリング計算で最強の非誘導連続ベースライン(RAEv2)を上回ります。 FeaTokはまた、報酬ベースのトレーニングなしで先行技術よりも高い人為的な報酬モデルスコアを達成し、3つのベンチマークで連続的で離散的なテキスト条件ベースラインを越え、事前トレーニング後にわずか500の微調整更新しか行わない。

関連論文リスト

• NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
  NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。 標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
  論文  参考訳（メタデータ） (2026-09-29T05:27:53Z)
• Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation [4.3739428096433]
  MTAR(Multi-token autoregressive)は、予測目標、表現正規化、トレーニング効率の3つの側面から自己回帰画像生成を改善する。 ImageNetでは、MTARは最大0.95のFIDと39%の高速トレーニングを実現している。
  論文  参考訳（メタデータ） (2026-08-26T05:25:40Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• Generation then Reconstruction: Accelerating Masked Autoregressive Models via Two-Stage Sampling [14.372824543814602]
  Masked Autoregressive (MAR)モデルは、並列生成能力のためのオートレグレッシブ(AR)モデルよりも、視覚生成の効率を向上する。 我々は、生成を2段階に分解するトレーニング不要な階層的サンプリング戦略であるGeneration then Reconstruction (GtR)を紹介した。 ImageNetのクラス条件とテキスト・ツー・イメージ生成の実験は、MAR-Hの3.72倍のスピードアップを示しながら、同等の品質を維持している。
  論文  参考訳（メタデータ） (2025-10-20T05:22:10Z)
• Image Tokenizer Needs Post-Training [76.91832192778732]
  本稿では,遅延空間構築と復号化に着目した新しいトークン化学習手法を提案する。 具体的には,トークン化の堅牢性を大幅に向上させる,プラグアンドプレイ型トークン化学習手法を提案する。 生成したトークンと再構成されたトークンの分布差を軽減するために、よく訓練された生成モデルに関するトークン化デコーダをさらに最適化する。
  論文  参考訳（メタデータ） (2025-09-15T21:38:03Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。