論文の概要: Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

• arxiv url: http://arxiv.org/abs/2410.12490v2
• Date: Thu, 31 Oct 2024 11:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:57.369248
• Title: Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective
• Title（参考訳）: 画像自己回帰モデリングのための潜在空間の安定化:統一的な視点
• Authors: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing,
• Abstract要約: 遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
• 参考スコア（独自算出の注目度）: 52.778766190479374
• License:
• Abstract: Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling by applying K-Means on the latent features of self-supervised learning models. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at \url{https://github.com/DAMO-NLP-SG/DiGIT}.
• Abstract（参考訳）: 遅延拡散モデル (LDMs) やマスク画像モデル (MIMs) のような遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めている。 これらのモデルは通常、VQGANやVAEのような再構成オートエンコーダを利用して、ピクセルをよりコンパクトな潜在空間にエンコードし、ピクセルから直接ではなく潜在空間のデータ分布を学ぶ。 しかし、このプラクティスは関連する疑問を提起する。 その結果,同じ潜在空間を共有するにもかかわらず,自己回帰モデルは画像生成においてLDMやMIMよりも著しく遅れることがわかった。 この発見は、自己回帰モデル GPT が指令存在を確立した NLP の分野とは対照的である。 この相違に対処するために、画像生成モデルにおける潜在空間と生成モデルとの関係について統一的な視点を導入し、潜在空間の安定性を強調した。 さらに,K-Meansを自己教師付き学習モデルの潜時特徴に適用することにより,画像生成モデリングの潜時空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。 実験結果から,GPTモデルでは本質的に単純だが,他の生成モデルでは困難である,次のトークン予測原理による画像理解と画像生成の両面での自己回帰モデルの有効性が示唆された。 注目すべきは、画像のGPTスタイルの自己回帰モデルがLDMよりも優れており、モデルサイズをスケールアップする際のGPTと同様の大幅な改善も示していることだ。 本研究は,画像生成モデルの性能向上において,最適化された潜在空間の可能性と離散トークン化の統合を裏付けるものである。 コードは \url{https://github.com/DAMO-NLP-SG/DiGIT} で公開されている。

関連論文リスト

• M-VAR: Decoupled Scale-wise Autoregressive Modeling for High-Quality Image Generation [39.97174784206976]
  このスケールワイド自己回帰フレームワークは,テキストイントラスケールモデリングに効果的に分離可能であることを示す。 計算オーバーヘッドを大幅に削減するために,Mambaのような線形複雑度機構を適用した。 実験により,本手法は画像品質と生成速度の両方で既存モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-15T18:54:42Z)
• Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
  視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T17:59:59Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Towards Model-Agnostic Dataset Condensation by Heterogeneous Models [13.170099297210372]
  我々は,クロスモデル相互作用により,普遍的に適用可能なコンデンサ画像を生成する新しい手法を開発した。 モデルのコントリビューションのバランスとセマンティックな意味の密接な維持により,本手法は,モデル固有凝縮画像に関連する制約を克服する。
  論文  参考訳（メタデータ） (2024-09-22T17:13:07Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Semantic Image Synthesis with Semantically Coupled VQ-Model [42.19799555533789]
  本稿では,ベクトル量子化モデル (VQ-model) から遅延空間を条件付きで合成する。 本モデルは,ADE20k,Cityscapes,COCO-Stuffといった人気セマンティック画像データセットを用いた自己回帰モデルを用いて,セマンティック画像合成を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-06T14:37:01Z)
• Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation [19.156223720614186]
  ベクトル量子変分オートエンコーダと自己回帰モデルとを生成部として統合することにより、画像生成における高品質な結果が得られる。 本稿では,VQ-VAEからのコンテンツリッチな離散視覚コードブックの助けを借りて,この離散拡散モデルにより,グローバルな文脈で高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-03T09:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。