Fugu-MT 論文翻訳(概要): Exploring Transformer Backbones for Image Diffusion Models

論文の概要: Exploring Transformer Backbones for Image Diffusion Models

arxiv url: http://arxiv.org/abs/2212.14678v1
Date: Tue, 27 Dec 2022 07:05:14 GMT
ステータス: 処理完了
システム内更新日: 2023-01-09 01:47:37.819880
Title: Exploring Transformer Backbones for Image Diffusion Models
Title（参考訳）: 画像拡散モデルのためのトランスフォーマーバックボーンの探索
Authors: Princy Chahal
Abstract要約: 画像合成のためのエンドツーエンド変換器を用いた遅延拡散モデルを提案する。 Transformerベースの遅延拡散モデルは、UNetベースのアーキテクチャの13.1FIDスコアに匹敵する14.1FIDを達成する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present an end-to-end Transformer based Latent Diffusion model for image synthesis. On the ImageNet class conditioned generation task we show that a Transformer based Latent Diffusion model achieves a 14.1FID which is comparable to the 13.1FID score of a UNet based architecture. In addition to showing the application of Transformer models for Diffusion based image synthesis this simplification in architecture allows easy fusion and modeling of text and image data. The multi-head attention mechanism of Transformers enables simplified interaction between the image and text features which removes the requirement for crossattention mechanism in UNet based Diffusion models.
Abstract（参考訳）: 画像合成のためのエンドツーエンド変換器を用いた遅延拡散モデルを提案する。 ImageNetクラス条件付き生成タスクでは、Transformerベースの遅延拡散モデルが、UNetベースのアーキテクチャの13.1FIDスコアに匹敵する14.1FIDを達成することを示す。拡散に基づく画像合成にトランスフォーマーモデルを適用することに加えて、このアーキテクチャの単純化により、テキストと画像データの融合とモデリングが容易になる。トランスフォーマーのマルチヘッドアテンション機構により、画像とテキストの特徴の相互作用が簡単になり、UNetベースの拡散モデルにおけるクロスアテンション機構の必要がなくなる。

関連論文リスト

DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
論文参考訳（メタデータ） (2023-12-04T18:57:01Z)
Transformer Fusion with Optimal Transport [25.022849817421964]
Fusionは、独立に訓練された複数のニューラルネットワークをマージして、それらの能力を組み合わせる技術である。本稿では, トランスポートを利用した2つ以上のトランスフォーマーネットワークを (ソフト) に融合させる手法を提案する。
論文参考訳（メタデータ） (2023-10-09T13:40:31Z)
Zero-shot Composed Text-Image Retrieval [72.43790281036584]
合成画像検索(CIR)の問題点を考察する。テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
論文参考訳（メタデータ） (2023-06-12T17:56:01Z)
ModeT: Learning Deformable Image Registration via Motion Decomposition Transformer [7.629385629884155]
本稿では,複数のモーダルを明示的にモデル化する新しい動作分解変換器 (ModeT) を提案する。提案手法は,現状の登録ネットワークやトランスフォーマーよりも優れている。
論文参考訳（メタデータ） (2023-06-09T06:00:05Z)
DiffBlender: Scalable and Composable Multimodal Text-to-Image Diffusion Models [10.744438740060458]
本研究の目的は,テキスト記述を超えて多種多様なモダリティを組み込むことにより,拡散型テキスト・ツー・イメージ(T2I)生成モデルの能力を拡張することである。そこで我々は,条件のチャネルを3つのタイプに分割することで,DiffBlenderと呼ばれるマルチモーダルT2I拡散モデルを設計する。 DiffBlenderのユニークなアーキテクチャは、新しい入力モダリティの追加を容易にし、条件付き画像生成のためのスケーラブルなフレームワークを開拓する。
論文参考訳（メタデータ） (2023-05-24T14:31:20Z)
Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。 COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
論文参考訳（メタデータ） (2022-12-06T16:08:16Z)
Semantic Image Synthesis with Semantically Coupled VQ-Model [42.19799555533789]
本稿では,ベクトル量子化モデル (VQ-model) から遅延空間を条件付きで合成する。本モデルは,ADE20k,Cityscapes,COCO-Stuffといった人気セマンティック画像データセットを用いた自己回帰モデルを用いて,セマンティック画像合成を改善することを示す。
論文参考訳（メタデータ） (2022-09-06T14:37:01Z)
Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文参考訳（メタデータ） (2022-07-06T16:32:29Z)
DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
論文参考訳（メタデータ） (2022-06-01T10:39:12Z)
TransVG: End-to-End Visual Grounding with Transformers [102.11922622103613]
本稿では,画像に対して言語クエリを接地するタスクに対処するためのトランスフォーマティブベースのフレームワークであるtransvgを提案する。複雑な核融合モジュールは、高い性能でトランスフォーマーエンコーダ層を単純なスタックで置き換えることができることを示す。
論文参考訳（メタデータ） (2021-04-17T13:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。