論文の概要: Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing

• arxiv url: http://arxiv.org/abs/2512.17909v1
• Date: Fri, 19 Dec 2025 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.543401
• Title: Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing
• Title（参考訳）: セマンティックスとレコンストラクションの両課題: テキスト・画像生成・編集のための表現エンコーダの作成
• Authors: Shilong Zhang, He Zhang, Zhifei Zhang, Chongjian Ge, Shuchen Xue, Shaoteng Liu, Mengwei Ren, Soo Ye Kim, Yuqian Zhou, Qing Liu, Daniil Pakhomov, Kai Zhang, Zhe Lin, Ping Luo,
• Abstract要約: 急成長する傾向は、表現エンコーダの高次元特徴を生成的潜伏剤として採用することである。 生成タスクに理解指向のエンコーダ機能を適用するための体系的フレームワークを提案する。 提案手法は,テキスト・トゥ・イメージ(T2I)と画像編集タスクにおいて,最先端の再構築,収束の高速化,大幅な性能向上を実現する。
• 参考スコア（独自算出の注目度）: 62.94394079771687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Latent Diffusion Models (LDMs) typically operate in low-level Variational Autoencoder (VAE) latent spaces that are primarily optimized for pixel-level reconstruction. To unify vision generation and understanding, a burgeoning trend is to adopt high-dimensional features from representation encoders as generative latents. However, we empirically identify two fundamental obstacles in this paradigm: (1) the discriminative feature space lacks compact regularization, making diffusion models prone to off-manifold latents that lead to inaccurate object structures; and (2) the encoder's inherently weak pixel-level reconstruction hinders the generator from learning accurate fine-grained geometry and texture. In this paper, we propose a systematic framework to adapt understanding-oriented encoder features for generative tasks. We introduce a semantic-pixel reconstruction objective to regularize the latent space, enabling the compression of both semantic information and fine-grained details into a highly compact representation (96 channels with 16x16 spatial downsampling). This design ensures that the latent space remains semantically rich and achieves state-of-the-art image reconstruction, while remaining compact enough for accurate generation. Leveraging this representation, we design a unified Text-to-Image (T2I) and image editing model. Benchmarking against various feature spaces, we demonstrate that our approach achieves state-of-the-art reconstruction, faster convergence, and substantial performance gains in both T2I and editing tasks, validating that representation encoders can be effectively adapted into robust generative components.
• Abstract（参考訳）: 現代のラテント拡散モデル(LDM)は、主にピクセルレベルの再構成に最適化された低レベル変分オートエンコーダ(VAE)ラテント空間で動作する。 視覚生成と理解を統一するためには、表現エンコーダの高次元特徴を生成的潜伏剤として採用する。 しかし,本パラダイムでは,(1)識別的特徴空間にはコンパクトな正規化が欠如しているため,不正確な物体構造を導出する逆数列の拡散モデルが困難であり,(2)エンコーダの本質的に弱い画素レベルの再構成は,正確な微粒な形状やテクスチャの学習を妨げている。 本稿では,生成タスクに対して理解指向のエンコーダ機能を適用するための体系的フレームワークを提案する。 我々は,潜時空間を正規化するためのセマンティック・ピクセル再構成の目的を導入し,セマンティック情報と細粒度の詳細の圧縮を高度にコンパクトな表現(96チャンネル16×16空間ダウンサンプリング)に変換する。 この設計により、潜在空間がセマンティックにリッチであり、最先端の画像再構成を実現するとともに、正確な生成に十分なコンパクトさを保っていることが保証される。 この表現を活用することで、統合されたテキスト・トゥ・イメージ(T2I)と画像編集モデルを設計する。 様々な特徴空間に対してベンチマークを行い,提案手法がT2Iと編集タスクの両方において,最先端の再構成,高速収束,大幅な性能向上を実現し,表現エンコーダを堅牢な生成成分に効果的に適用できることを実証した。

関連論文リスト

• SFTok: Bridging the Performance Gap in Discrete Tokenizers [72.9996757048065]
  複数ステップの反復機構を組み込んだ離散トークン化機構である textbfSFTok を提案する。 画像当たり64トークンの高速圧縮速度で、SFTokはImageNetの最先端の再構築品質を達成する。
  論文  参考訳（メタデータ） (2025-12-18T18:59:04Z)
• One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation [33.56782043207013]
  Feature Auto-Encoder (FAE) は、学習済みの視覚表現を、単一の注意層としてほとんど使用せずに生成に適した低次元の潜伏子に適応させる。 FAEはクラス条件とテキスト・ツー・イメージのベンチマークで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-08T18:57:26Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Edit2Perceive: Image Editing Diffusion Models Are Strong Dense Perceivers [55.15722080205737]
  Edit2Perceiveは、深度、正規度、マッティングの編集モデルを適応させる統合拡散フレームワークである。 私たちの単一ステップの決定論的推論は、比較的小さなデータセットでトレーニングしながら、より高速なランタイムをもたらす。
  論文  参考訳（メタデータ） (2025-11-24T01:13:51Z)
• Hawk: Leveraging Spatial Context for Faster Autoregressive Text-to-Image Generation [87.00172597953228]
  投機的復号化は、品質を損なうことなくテキスト生成を加速させる可能性を示している。 我々は、画像の空間構造を利用して投機モデルをより正確で効率的な予測へと導く新しいアプローチであるHawkを紹介する。 複数のテキストと画像のベンチマークの実験結果は、標準的なARモデルよりも1.71倍のスピードアップを示している。
  論文  参考訳（メタデータ） (2025-10-29T17:43:31Z)
• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [52.261584726401686]
  凍結した視覚基盤モデルの上に画像トークン化器を直接構築するための新しい方向を示す。 これらの設計に基づき,提案する画像トークン装置であるVFMTokは,画像再構成と生成品質の大幅な向上を実現している。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing [4.8201607588546]
  本稿では,StyleGANの潜在空間を再編成するオートエンコーダを提案する。 提案手法は,同一性に関して元の画像に対する忠実さを維持しつつ,競合する手法よりも不整合性が高いことを示す。
  論文  参考訳（メタデータ） (2023-12-13T16:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。