論文の概要: HART: Efficient Visual Generation with Hybrid Autoregressive Transformer

• arxiv url: http://arxiv.org/abs/2410.10812v1
• Date: Mon, 14 Oct 2024 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:58.947863
• Title: HART: Efficient Visual Generation with Hybrid Autoregressive Transformer
• Title（参考訳）: HART:ハイブリッド自己回帰変換器を用いた効率的なビジュアル生成
• Authors: Haotian Tang, Yecheng Wu, Shang Yang, Enze Xie, Junsong Chen, Junyu Chen, Zhuoyang Zhang, Han Cai, Yao Lu, Song Han,
• Abstract要約: 本稿では,1024×1024画像を直接生成可能な自己回帰型(AR)視覚生成モデルであるHybrid Autoregressive Transformer(HART)を紹介する。 提案手法はMJHQ-30Kで2.11から0.30に改良され,7.85から5.38までの31%のFID改善を実現した。 HARTはまた、FIDとCLIPスコアの両方において、4.5-7.7倍高いスループットと6.9-13.4倍低いMACで最先端の拡散モデルより優れている。
• 参考スコア（独自算出の注目度）: 33.97880303341509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Hybrid Autoregressive Transformer (HART), an autoregressive (AR) visual generation model capable of directly generating 1024x1024 images, rivaling diffusion models in image generation quality. Existing AR models face limitations due to the poor image reconstruction quality of their discrete tokenizers and the prohibitive training costs associated with generating 1024px images. To address these challenges, we present the hybrid tokenizer, which decomposes the continuous latents from the autoencoder into two components: discrete tokens representing the big picture and continuous tokens representing the residual components that cannot be represented by the discrete tokens. The discrete component is modeled by a scalable-resolution discrete AR model, while the continuous component is learned with a lightweight residual diffusion module with only 37M parameters. Compared with the discrete-only VAR tokenizer, our hybrid approach improves reconstruction FID from 2.11 to 0.30 on MJHQ-30K, leading to a 31% generation FID improvement from 7.85 to 5.38. HART also outperforms state-of-the-art diffusion models in both FID and CLIP score, with 4.5-7.7x higher throughput and 6.9-13.4x lower MACs. Our code is open sourced at https://github.com/mit-han-lab/hart.
• Abstract（参考訳）: 本稿では、1024×1024画像を直接生成できる自己回帰型視覚生成モデルであるHybrid Autoregressive Transformer(HART)を紹介する。 既存のARモデルは、1024px画像の生成に伴う、個々のトークンのイメージ再構成品質の低下と、禁止的なトレーニングコストによる制限に直面している。 これらの課題に対処するため,オートエンコーダから連続ラテントを分解するハイブリットトークンを,大画面を表す離散トークンと,離散トークンで表現できない残留成分を表す連続トークンの2つのコンポーネントに分割する。 離散成分はスケーラブル解像度の離散ARモデルでモデル化され、連続成分は37Mパラメータしか持たない軽量残留拡散モジュールで学習される。 離散型VARトークン化器と比較して,MJHQ-30Kでは2.11から0.30に改良され,7.85から5.38に31%のFIDが向上した。 HARTはまた、FIDとCLIPスコアの両方において、4.5-7.7倍高いスループットと6.9-13.4倍低いMACで最先端の拡散モデルより優れている。 私たちのコードはhttps://github.com/mit-han-lab/hart.comで公開されている。

関連論文リスト

• Boosting Latent Diffusion with Perceptual Objectives [29.107038084215514]
  遅延拡散モデル (LDMs) パワー・オブ・ザ・アート高分解能画像モデル。 我々は,遅延知覚損失(LPL)を定義するためにデコーダの内部的特徴を活用することを提案する。 この損失により、モデルはよりシャープでリアルなイメージを作成することができる。
  論文  参考訳（メタデータ） (2024-11-06T16:28:21Z)
• Diff-Instruct*: Towards Human-Preferred One-step Text-to-image Generative Models [8.352666876052616]
  Diff-Instruct*(DI*)は1段階のテキスト・ツー・イメージ生成モデルを構築するためのデータフリーアプローチである。 安定拡散V1.5 を基準拡散モデルとし、DI* は以前の先行モデルを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-10-28T10:26:19Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• MaskBit: Embedding-free Image Generation via Bit Tokens [54.827480008982185]
  我々は,VQGANの実証的,体系的な検討を行い,近代化されたVQGANを導いた。 ビットトークンを直接操作する新しい埋め込み不要な生成ネットワークは、ImageNet 256x256ベンチマークで1.52の最先端FIDを達成し、わずか305Mパラメータのコンパクトなジェネレータモデルである。
  論文  参考訳（メタデータ） (2024-09-24T16:12:12Z)
• LinFusion: 1 GPU, 1 Minute, 16K Image [71.44735417472043]
  我々は,広く普及している線形トークンミキサーの低ランク近似を導入する。 蒸留したLinFusionは,元のSDと同等以上の性能を示す。 SD-v1.5、SD-v2.1、SD-XLの実験は、LinFusionが良好なゼロショットクロスレゾリューション生成を可能にすることを示した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:39Z)
• An Image is Worth 32 Tokens for Reconstruction and Generation [54.24414696392026]
  Transformer-based 1-dimensional Tokenizer (TiTok) は、画像を1D潜在シーケンスにトークン化する革新的なアプローチである。 TiTokは最先端のアプローチと競合するパフォーマンスを実現している。 我々の最高性能の変種は、DiT-XL/2 (gFID 2.13 vs. 3.04) をはるかに上回りながら、高品質なサンプルを74倍高速に生成できる。
  論文  参考訳（メタデータ） (2024-06-11T17:59:56Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)
• StraIT: Non-autoregressive Generation with Stratified Image Transformer [63.158996766036736]
  Stratified Image Transformer(StraIT)は、純粋な非自己回帰(NAR)生成モデルである。 実験の結果,StraIT は NAR 生成を著しく改善し,既存の DM および AR 手法より優れていた。
  論文  参考訳（メタデータ） (2023-03-01T18:59:33Z)
• Dual-former: Hybrid Self-attention Transformer for Efficient Image Restoration [6.611849560359801]
  本稿では,自己アテンションモジュールの強力なグローバルモデリング能力と,全体のアーキテクチャにおける畳み込みの局所モデリング能力を組み合わせたDual-formerを提案する。 実験により、Dual-formerはIndoorデータセットの最先端MAXIM法よりも1.91dBのゲインを達成していることが示された。 単一画像のデライニングでは、わずか21.5%のGFLOPを持つ5つのデータセットの平均結果に対して、SOTA法を0.1dB PSNRで上回っている。
  論文  参考訳（メタデータ） (2022-10-03T16:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。