論文の概要: End-to-End Training for Unified Tokenization and Latent Denoising

• arxiv url: http://arxiv.org/abs/2603.22283v1
• Date: Mon, 23 Mar 2026 17:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.843154
• Title: End-to-End Training for Unified Tokenization and Latent Denoising
• Title（参考訳）: 統一トークン化と潜伏認知のためのエンド・ツー・エンドトレーニング
• Authors: Shivam Duggal, Xingjian Bai, Zongze Wu, Richard Zhang, Eli Shechtman, Antonio Torralba, Phillip Isola, William T. Freeman,
• Abstract要約: 統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 82.91537591286554
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Latent diffusion models (LDMs) enable high-fidelity synthesis by operating in learned latent spaces. However, training state-of-the-art LDMs requires complex staging: a tokenizer must be trained first, before the diffusion model can be trained in the frozen latent space. We propose UNITE - an autoencoder architecture for unified tokenization and latent diffusion. UNITE consists of a Generative Encoder that serves as both image tokenizer and latent generator via weight sharing. Our key insight is that tokenization and generation can be viewed as the same latent inference problem under different conditioning regimes: tokenization infers latents from fully observed images, whereas generation infers them from noise together with text or class conditioning. Motivated by this, we introduce a single-stage training procedure that jointly optimizes both tasks via two forward passes through the same Generative Encoder. The shared parameters enable gradients to jointly shape the latent space, encouraging a "common latent language". Across image and molecule modalities, UNITE achieves near state of the art performance without adversarial losses or pretrained encoders (e.g., DINO), reaching FID 2.12 and 1.73 for Base and Large models on ImageNet 256 x 256. We further analyze the Generative Encoder through the lenses of representation alignment and compression. These results show that single stage joint training of tokenization & generation from scratch is feasible.
• Abstract（参考訳）: 潜時拡散モデル(LDMs)は学習された潜時空間を演算することで高忠実性合成を可能にする。 しかしながら、最先端のLCMのトレーニングには複雑なステージングが必要であり、凍結された潜伏空間で拡散モデルをトレーニングする前に、トークン化器を最初に訓練する必要がある。 統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは生成エンコーダ(Generative Encoder)で構成される。 我々の重要な洞察は、トークン化と生成は異なる条件下で同じ遅延推論問題とみなすことができ、トークン化は完全な観察された画像から潜在者を推論するのに対し、生成はテキストやクラス条件とともにノイズから推論する。 そこで本研究では,同じジェネレーティブエンコーダを2つのフォワードパスで2つのタスクを共同で最適化する,単一段階のトレーニング手順を提案する。 共有されたパラメータにより、勾配はラテント空間を共同で形成することができ、「一般的なラテント言語」を奨励する。 画像と分子のモダリティ全体にわたって、UNITEは敵対的損失や事前訓練されたエンコーダ(例えばDINO)を伴わずに最先端のパフォーマンスを達成し、ImageNet 256 x 256のベースモデルと大型モデルに対してFID 2.12と1.73に達した。 さらに,表現アライメントと圧縮のレンズを用いて生成エンコーダを解析する。 これらの結果から,スクラッチからのトークン化と生成の単一段階共同訓練が可能であることが示唆された。

関連論文リスト

• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• High-Fidelity Text-to-Image Generation from Pre-Trained Vision-Language Models via Distribution-Conditioned Diffusion Decoding [64.13126192228604]
  本稿では,出力画像に対する拡散復号器のみを訓練することにより,画像の忠実度を向上させる拡散復号化フレームワークを提案する。 軽量なLogitは、VQ-VAEエンコーダからのトレーニング時間プロキシロジットとVLM生成ロジットをアライメントすることで、トレイン推論ギャップを緩和する。 提案手法は,VLM予測トークンからVQ-VAE再構成とテキスト・ツー・画像生成の両方の視覚的忠実度を継続的に向上する。
  論文  参考訳（メタデータ） (2026-03-11T07:02:48Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation [33.56782043207013]
  Feature Auto-Encoder (FAE) は、学習済みの視覚表現を、単一の注意層としてほとんど使用せずに生成に適した低次元の潜伏子に適応させる。 FAEはクラス条件とテキスト・ツー・イメージのベンチマークで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-08T18:57:26Z)
• Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models [37.59115132356727]
  本稿では,画像生成における遅延拡散モデルのトークン化として,事前学習したビジュアルエンコーダの整合性を提案する。 ImageNet 256$times$256では、トークン化器は拡散モデルの収束を加速し、64時間以内で1.90gFIDに達する。 提案手法は単純で拡張性があり,連続トークン化設計のための意味論的基盤となるパラダイムを確立している。
  論文  参考訳（メタデータ） (2025-09-29T17:57:39Z)
• D2C: Unlocking the Potential of Continuous Autoregressive Image Generation with Discrete Tokens [80.75893450536577]
  モデル生成能力を向上させる新しい2段階法であるD2Cを提案する。 第1段階では、小さな離散値発生器を用いて粗粒度画像特徴を表す離散値トークンをサンプリングする。 第2段階では、離散トークンシーケンスに基づいて、きめ細かい画像特徴を表す連続値トークンを学習する。
  論文  参考訳（メタデータ） (2025-03-21T13:58:49Z)
• Planting a SEED of Vision in Large Language Model [73.17530130368053]
  このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。 このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
  論文  参考訳（メタデータ） (2023-07-16T13:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。