論文の概要: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

• arxiv url: http://arxiv.org/abs/2509.25162v1
• Date: Mon, 29 Sep 2025 17:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.895205
• Title: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models
• Title（参考訳）: 拡散モデルのためのTokenizerへのVisual Foundationエンコーダのアライメント
• Authors: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang,
• Abstract要約: 本稿では,画像生成における遅延拡散モデルのトークン化として,事前学習したビジュアルエンコーダの整合性を提案する。 ImageNet 256$times$256では、トークン化器は拡散モデルの収束を加速し、64時間以内で1.90gFIDに達する。 提案手法は単純で拡張性があり,連続トークン化設計のための意味論的基盤となるパラダイムを確立している。
• 参考スコア（独自算出の注目度）: 37.59115132356727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose aligning pretrained visual encoders to serve as tokenizers for latent diffusion models in image generation. Unlike training a variational autoencoder (VAE) from scratch, which primarily emphasizes low-level details, our approach leverages the rich semantic structure of foundation encoders. We introduce a three-stage alignment strategy: (1) freeze the encoder and train an adapter and a decoder to establish a semantic latent space; (2) jointly optimize all components with an additional semantic preservation loss, enabling the encoder to capture perceptual details while retaining high-level semantics; and (3) refine the decoder for improved reconstruction quality. This alignment yields semantically rich image tokenizers that benefit diffusion models. On ImageNet 256$\times$256, our tokenizer accelerates the convergence of diffusion models, reaching a gFID of 1.90 within just 64 epochs, and improves generation both with and without classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model trained with our tokenizer consistently outperforms FLUX VAE under the same training steps. Overall, our method is simple, scalable, and establishes a semantically grounded paradigm for continuous tokenizer design.
• Abstract（参考訳）: 本研究では,画像生成における遅延拡散モデルのトークン化として,事前学習した視覚エンコーダの整合性を提案する。 低レベルの詳細を重視した変分オートエンコーダ(VAE)をスクラッチからトレーニングするのとは異なり,本手法は基礎エンコーダのリッチな意味構造を利用する。 1) エンコーダをフリーズし, アダプターとデコーダを訓練して, セマンティックな潜伏空間を確立すること, 2) エンコーダが高レベルなセマンティクスを維持しながら知覚的詳細を捉えること, (3) デコーダを改良して再構築品質を向上させること, という3段階のアライメント戦略を導入する。 このアライメントは、拡散モデルに利益をもたらす意味的にリッチな画像トークンーザをもたらす。 ImageNet 256$\times$256では,拡散モデルの収束を加速し,64時間以内で1.90gFIDに達した。 2Bパラメータのテキスト・ツー・イメージモデルであるLAIONへのスケーリングは、私たちのトークンライザでトレーニングされた場合、同じトレーニングステップでFLUX VAEよりも一貫して優れています。 全体として,本手法はシンプルで拡張性があり,連続トークン化設計のための意味論的基盤となるパラダイムを確立している。

関連論文リスト

• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [66.73899356886652]
  我々は、事前訓練された視覚基盤モデルの上に画像トークン化器を直接構築する。 提案する画像トークンーであるVFMTokは、画像再構成と生成品質を大幅に改善する。 ImageNetベンチマークで2.07のgFIDを達成することで、自動回帰(AR)生成をさらに強化する。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models [65.96186414865747]
  テキスト・ツー・イメージ(T2I)拡散モデルは、推論速度と画質のトレードオフに直面している。 学生モデルUNetアーキテクチャのための最初の時間非依存の統一TiUEを紹介する。 ワンパススキームを使用して、TiUEは複数のデコーダタイムステップにまたがるエンコーダ機能を共有し、並列サンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-05-28T04:23:22Z)
• Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
  復号化は1段階の再構成から反復的改良へと移行する。 具体的には、デコーダを拡散処理に置き換え、ノイズを反復的に改善して元の画像を復元する。 拡散による反復的再構成により, 自己エンコーダであるEpsilon-VAEは高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• A Principled Hierarchical Deep Learning Approach to Joint Image Compression and Classification [27.934109301041595]
  本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。 CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。
  論文  参考訳（メタデータ） (2023-10-30T15:52:18Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。