Fugu-MT 論文翻訳(概要): DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation

論文の概要: DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation

arxiv url: http://arxiv.org/abs/2011.02709v3
Date: Sat, 21 Nov 2020 23:59:25 GMT
ステータス: 処理完了
システム内更新日: 2022-09-29 12:05:59.103744
Title: DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation
Title（参考訳）: dtgan: テキスト対画像生成のための2重注意生成広告ネットワーク
Authors: Zhenxing Zhang and Lambert Schomaker
Abstract要約: Dual Attention Generative Adversarial Network (DTGAN)は高品質でセマンティックな一貫性のある画像を合成できる。提案モデルでは,テキスト関連チャネルや画素に注目するようにジェネレータを誘導する,チャネル対応および画素対応アテンションモジュールを導入している。生成した画像の鮮明な形状と知覚的に均一な色分布を確保することにより、画像の解像度を高めるために、新しいタイプの視覚的損失を利用する。
参考スコア（独自算出の注目度）: 8.26410341981427
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most existing text-to-image generation methods adopt a multi-stage modular architecture which has three significant problems: 1) Training multiple networks increases the run time and affects the convergence and stability of the generative model; 2) These approaches ignore the quality of early-stage generator images; 3) Many discriminators need to be trained. To this end, we propose the Dual Attention Generative Adversarial Network (DTGAN) which can synthesize high-quality and semantically consistent images only employing a single generator/discriminator pair. The proposed model introduces channel-aware and pixel-aware attention modules that can guide the generator to focus on text-relevant channels and pixels based on the global sentence vector and to fine-tune original feature maps using attention weights. Also, Conditional Adaptive Instance-Layer Normalization (CAdaILN) is presented to help our attention modules flexibly control the amount of change in shape and texture by the input natural-language description. Furthermore, a new type of visual loss is utilized to enhance the image resolution by ensuring vivid shape and perceptually uniform color distributions of generated images. Experimental results on benchmark datasets demonstrate the superiority of our proposed method compared to the state-of-the-art models with a multi-stage framework. Visualization of the attention maps shows that the channel-aware attention module is able to localize the discriminative regions, while the pixel-aware attention module has the ability to capture the globally visual contents for the generation of an image.
Abstract（参考訳）: 既存のテキストから画像への生成手法の多くは多段階モジュールアーキテクチャを採用しており、3つの重大な問題がある。 1)複数ネットワークのトレーニングは、実行時間を増やし、生成モデルの収束と安定性に影響を与える。 2)これらの手法は早期発生画像の品質を無視する。 3)多くの差別者を訓練する必要がある。そこで本研究では,単一のジェネレータ/識別器ペアのみを用いて,高品質でセマンティックに一貫した画像を合成できるDual Attention Generative Adversarial Network (DTGAN)を提案する。提案モデルでは,全文ベクトルに基づくテキスト関連チャネルと画素に着目し,注意重みを用いたオリジナル特徴マップの微調整を行うための,チャネル認識および画素認識アテンションモジュールを導入している。また,条件適応型インスタンス・階層正規化(CAdaILN)は,入力された自然言語記述による形状・テクスチャの変化量を柔軟に制御するのに役立つ。さらに、画像の鮮明な形状と知覚的に均一な色分布を確保し、画像解像度を向上させるために、新たなタイプの視覚損失を利用する。ベンチマークによる実験結果から,提案手法がマルチステージフレームワークを用いた最先端モデルよりも優れていることを示す。注目マップの可視化は、チャネル認識注意モジュールが識別領域をローカライズできることを示しているが、画素認識注意モジュールは、画像の生成のためにグローバルな視覚コンテンツをキャプチャする能力を持っている。

関連論文リスト

UNIC-Adapter: Unified Image-instruction Adapter with Multi-modal Transformer for Image Generation [64.8341372591993]
一つのフレームワーク内で制御可能な生成を統一するための新しいアプローチを提案する。具体的には,Multi-Modal-Diffusion Transformerアーキテクチャ上に構築された統合イメージインストラクションアダプタ(UNIC-Adapter)を提案する。 UNIC-Adapterは条件付き画像とタスク命令の両方を組み込んだマルチモーダル命令情報を効果的に抽出する。
論文参考訳（メタデータ） (2024-12-25T15:19:02Z)
HiTSR: A Hierarchical Transformer for Reference-based Super-Resolution [6.546896650921257]
参照ベース画像超解像のための階層変換モデルであるHiTSRを提案する。 GAN文献の二重注意ブロックを組み込むことで,アーキテクチャとトレーニングパイプラインの合理化を図る。我々のモデルは、SUN80、Urban100、Manga109を含む3つのデータセットで優れたパフォーマンスを示す。
論文参考訳（メタデータ） (2024-08-30T01:16:29Z)
Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。 MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。 2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
論文参考訳（メタデータ） (2024-07-26T16:30:18Z)
RefDrop: Controllable Consistency in Image or Video Generation via Reference Feature Guidance [22.326405355520176]
RefDropを使えば、ユーザーは直接的かつ正確な方法で参照コンテキストの影響を制御できる。また,本手法は,複数の主題を一貫した生成など,より興味深い応用を可能にする。
論文参考訳（メタデータ） (2024-05-27T21:23:20Z)
R&B: Region and Boundary Aware Zero-shot Grounded Text-to-image Generation [74.5598315066249]
拡散モデルを用いてゼロショット接地T2I生成を探索する。本稿では,地域境界(R&B)を意識したクロスアテンションガイダンス手法を提案する。
論文参考訳（メタデータ） (2023-10-13T05:48:42Z)
Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
論文参考訳（メタデータ） (2023-10-05T12:29:41Z)
Cross-View Panorama Image Synthesis [68.35351563852335]
PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
論文参考訳（メタデータ） (2022-03-22T15:59:44Z)
DiverGAN: An Efficient and Effective Single-Stage Framework for Diverse Text-to-Image Generation [7.781425222538382]
DiverGANは、自然言語による記述に従って、多様で、可塑性で、セマンティックに一貫性のある画像を生成するためのフレームワークである。 DiverGANは2つの新しいワードレベルアテンションモジュール、すなわちチャネルアテンションモジュール(CAM)とピクセルアテンションモジュール(PAM)を採用する。条件適応型インスタンス-階層正規化(CAdaILN)を導入し、文の埋め込みから、形やテクスチャの変化量を柔軟に操作する言語的手がかりを実現する。
論文参考訳（メタデータ） (2021-11-17T17:59:56Z)
Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
監視されていない画像強調生成ネットワーク(UEGAN)を提案する。教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
論文参考訳（メタデータ） (2020-12-30T03:22:46Z)
Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation [148.9985519929653]
本稿では,画像から画像への変換のためのマルチチャネルアテンション選択生成支援ネットワーク(SelectionGAN)を提案する。提案するフレームワークとモジュールは統合されたソリューションであり、セマンティック画像合成などの他の生成タスクに応用できる。
論文参考訳（メタデータ） (2020-02-03T23:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。