論文の概要: DiffiT: Diffusion Vision Transformers for Image Generation

• arxiv url: http://arxiv.org/abs/2312.02139v3
• Date: Thu, 29 Aug 2024 03:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 19:28:43.953157
• Title: DiffiT: Diffusion Vision Transformers for Image Generation
• Title（参考訳）: DiffiT:画像生成のための拡散ビジョン変換器
• Authors: Ali Hatamizadeh, Jiaming Song, Guilin Liu, Jan Kautz, Arash Vahdat,
• Abstract要約: ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
• 参考スコア（独自算出の注目度）: 88.08529836125399
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion models with their powerful expressivity and high sample quality have achieved State-Of-The-Art (SOTA) performance in the generative domain. The pioneering Vision Transformer (ViT) has also demonstrated strong modeling capabilities and scalability, especially for recognition tasks. In this paper, we study the effectiveness of ViTs in diffusion-based generative learning and propose a new model denoted as Diffusion Vision Transformers (DiffiT). Specifically, we propose a methodology for finegrained control of the denoising process and introduce the Time-dependant Multihead Self Attention (TMSA) mechanism. DiffiT is surprisingly effective in generating high-fidelity images with significantly better parameter efficiency. We also propose latent and image space DiffiT models and show SOTA performance on a variety of class-conditional and unconditional synthesis tasks at different resolutions. The Latent DiffiT model achieves a new SOTA FID score of 1.73 on ImageNet256 dataset while having 19.85%, 16.88% less parameters than other Transformer-based diffusion models such as MDT and DiT,respectively. Code: https://github.com/NVlabs/DiffiT
• Abstract（参考訳）: 高い発現率と高い試料品質を持つ拡散モデルにより, 生成領域における状態-Of-The-Art (SOTA) の性能が向上した。 ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 本稿では,拡散型生成学習におけるViTの有効性について検討し,拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 具体的には,認知過程のきめ細かい制御手法を提案し,時間依存型マルチヘッド自己注意(TMSA)機構を導入する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。 また,遅延および画像空間DiffiTモデルを提案し,様々なクラス条件および非条件合成タスクに対して,異なる解像度でSOTA性能を示す。 Latent DiffiTモデルでは、ImageNet256データセットで新しいSOTA FIDスコアが1.73で、MDTやDiTのような他のトランスフォーマーベースの拡散モデルよりも19.85%、16.88%少ないパラメータを持つ。 コード:https://github.com/NVlabs/DiffiT

関連論文リスト

• OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
  OminiControlは、イメージ条件をトレーニング済みのDiffusion Transformer(DiT)モデルに統合するフレームワークである。 コアとなるOminiControlはパラメータ再利用機構を活用しており、強力なバックボーンとしてイメージ条件をエンコードすることができる。 OminiControlは、主観駆動生成や空間的に整合した条件を含む、幅広いイメージコンディショニングタスクを統一的に処理する。
  論文  参考訳（メタデータ） (2024-11-22T17:55:15Z)
• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• TerDiT: Ternary Diffusion Models with Transformers [83.94829676057692]
  TerDiTは変圧器を用いた3次拡散モデルのための量子化対応トレーニングスキームである。 我々は、DiTネットワークの3元化とスケールモデルサイズを600Mから4.2Bに焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T17:57:24Z)
• TFormer: A Transmission-Friendly ViT Model for IoT Devices [23.67389080796814]
  本稿では、クラウドサーバの助けを借りて、リソースに制約のあるIoTデバイスに展開するためのトランスミッションフレンドリーなViTモデルであるTFormerを提案する。 ImageNet-1K、MS COCO、ADE20Kデータセットによる画像分類、オブジェクト検出、セマンティックセグメンテーションタスクの実験結果は、提案モデルが他の最先端モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-15T15:36:10Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。