論文の概要: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2510.18457v1
• Date: Tue, 21 Oct 2025 09:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.320771
• Title: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models
• Title（参考訳）: ビジョンファウンデーションモデルは、潜在拡散モデルに適したトケナイザになり得る
• Authors: Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng,
• Abstract要約: Vision Foundation Model Variational Autoencoder (VFM-VAE) は、VFMのセマンティックフォーカスとピクセルレベルの忠実さの必要性の間の固有の緊張を解決するために設計された。 我々のシステムは80エポックで2.20のgFID(w/o CFG)に達する(先行トークン化器の10倍の高速化)。
• 参考スコア（独自算出の注目度）: 45.63522160275318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of Latent Diffusion Models (LDMs) is critically dependent on the quality of their visual tokenizer. While recent works have explored incorporating Vision Foundation Models (VFMs) via distillation, we identify a fundamental flaw in this approach: it inevitably weakens the robustness of alignment with the original VFM, causing the aligned latents to deviate semantically under distribution shifts. In this paper, we bypass distillation by proposing a more direct approach: Vision Foundation Model Variational Autoencoder (VFM-VAE). To resolve the inherent tension between the VFM's semantic focus and the need for pixel-level fidelity, we redesign the VFM-VAE decoder with Multi-Scale Latent Fusion and Progressive Resolution Reconstruction blocks, enabling high-quality reconstruction from spatially coarse VFM features. Furthermore, we provide a comprehensive analysis of representation dynamics during diffusion training, introducing the proposed SE-CKNNA metric as a more precise tool for this diagnosis. This analysis allows us to develop a joint tokenizer-diffusion alignment strategy that dramatically accelerates convergence. Our innovations in tokenizer design and training strategy lead to superior performance and efficiency: our system reaches a gFID (w/o CFG) of 2.20 in merely 80 epochs (a 10x speedup over prior tokenizers). With continued training to 640 epochs, it further attains a gFID (w/o CFG) of 1.62, establishing direct VFM integration as a superior paradigm for LDMs.
• Abstract（参考訳）: 遅延拡散モデル(LDM)の性能は、視覚的トークン化器の品質に大きく依存する。 近年の研究では、蒸留によるビジョン・ファンデーション・モデル(VFM)の導入について検討されているが、本手法の根本的な欠陥が明らかになっている。 本稿では,より直接的なアプローチであるVision Foundation Model Variational Autoencoder (VFM-VAE)を提案することにより,蒸留をバイパスする。 VFMのセマンティック・フォーカスと画素レベルの忠実さの必要性の間の固有の緊張を解決するため、VFM-VAEデコーダをマルチスケールラテント・フュージョンとプログレッシブ・コンストラクション・コンストラクションブロックで再設計し、空間的に粗いVFM特徴から高品質な再構成を可能にする。 さらに,拡散訓練中の表現力学を包括的に解析し,SE-CKNNA法を診断のより正確なツールとして提案した。 この分析により,コンバージェンスを劇的に加速するジョイント・トークン・拡散アライメント戦略を開発することができる。 トークン化器の設計とトレーニング戦略における我々の革新は、優れたパフォーマンスと効率をもたらす。我々のシステムは、たった80エポック(以前のトークン化器の10倍のスピードアップ)で2.20のgFID(w/o CFG)に達する。 640エポックのトレーニングを継続し、さらに1.62のgFID(w/o CFG)を獲得し、直接VFM統合をLCMの優れたパラダイムとして確立した。

関連論文リスト

• Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency [60.74505433956616]
  連続時間一貫性モデル(sCM)は理論的に原理化され、学術規模の拡散を加速するために実証的に強力である。 まず並列性互換なFlashAttention-2 JVPカーネルを開発し、100億以上のパラメータと高次元ビデオタスクを持つモデル上でsCMトレーニングを可能にする。 本稿では, スコア蒸留を長軸正則化器として組み込んだスコア規則化連続時間一貫性モデル(rCM)を提案する。
  論文  参考訳（メタデータ） (2025-10-09T16:45:30Z)
• Unleashing Vision Foundation Models for Coronary Artery Segmentation: Parallel ViT-CNN Encoding and Variational Fusion [12.839049648094893]
  冠動脈セグメンテーションは冠動脈疾患(CAD)のコンピュータ診断に重要である 並列符号化アーキテクチャを用いて,視覚基盤モデル(VFM)のパワーを利用する新しいフレームワークを提案する。 提案手法は, 精度の高い冠動脈セグメンテーションにおいて, 最先端の手法よりも優れ, 優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-07-17T09:25:00Z)
• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [66.73899356886652]
  我々は、事前訓練された視覚基盤モデルの上に画像トークン化器を直接構築する。 提案する画像トークンーであるVFMTokは、画像再構成と生成品質を大幅に改善する。 ImageNetベンチマークで2.07のgFIDを達成することで、自動回帰(AR)生成をさらに強化する。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• Chain-of-Focus: Adaptive Visual Search and Zooming for Multimodal Reasoning via RL [70.1326027641056]
  視覚言語モデル(VLM)は、様々なコンピュータビジョンタスクにおいて印象的な性能を達成している。 本稿では,キー画像領域に適応的な焦点付けとズームインを行うことができるChain-of-Focus(CoF)手法を提案する。 教師付き微調整と強化学習を含む2段階の訓練パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-05-21T12:18:15Z)
• Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models [33.519892081718716]
  本稿では,視覚トークン化器のトレーニングにおいて,潜在空間と事前学習された視覚基盤モデルとの整合性を提案する。 提案するVA-VAEは遅延拡散モデルの再構成世代フロンティアを著しく拡張する。 私たちは、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築します。
  論文  参考訳（メタデータ） (2025-01-02T18:59:40Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。