Fugu-MT 論文翻訳(概要): DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting

論文の概要: DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting

arxiv url: http://arxiv.org/abs/2408.04962v1
Date: Fri, 9 Aug 2024 09:28:42 GMT
ステータス: 処理完了
システム内更新日: 2024-08-12 16:07:28.628133
Title: DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Title（参考訳）: DAFT-GAN:テキストガイド画像インパインティングのための二重アフィン変換生成アドバイザラルネットワーク
Authors: Jihoon Lee, Yunhong Min, Hwidong Kim, Sangtae Ahn,
Abstract要約: そこで本研究では,2つのアフィン変換生成逆数ネットワーク(DAFT-GAN)を提案する。提案手法は, 定性評価と定量的評価の両方において, 既存のGANモデルよりも優れている。
参考スコア（独自算出の注目度）: 2.656795553429629
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, there has been a significant focus on research related to text-guided image inpainting. However, the task remains challenging due to several constraints, such as ensuring alignment between the image and the text, and maintaining consistency in distribution between corrupted and uncorrupted regions. In this paper, thus, we propose a dual affine transformation generative adversarial network (DAFT-GAN) to maintain the semantic consistency for text-guided inpainting. DAFT-GAN integrates two affine transformation networks to combine text and image features gradually for each decoding block. Moreover, we minimize information leakage of uncorrupted features for fine-grained image generation by encoding corrupted and uncorrupted regions of the masked image separately. Our proposed model outperforms the existing GAN-based models in both qualitative and quantitative assessments with three benchmark datasets (MS-COCO, CUB, and Oxford) for text-guided image inpainting.
Abstract（参考訳）: 近年,テキスト誘導画像のインペイントに関する研究に注目が集まっている。しかし、画像とテキストの整合性の確保や、破損した領域と破損していない領域の分布の整合性の維持など、いくつかの制約があるため、課題は残る。そこで本研究では,2つのアフィン変換生成逆数ネットワーク(DAFT-GAN)を提案する。 DAFT-GANは2つのアフィン変換ネットワークを統合し、復号ブロックごとにテキストと画像の特徴を徐々に組み合わせている。さらに、マスク画像の破損領域と破損領域を別々に符号化することにより、微細な画像生成のための未破損特徴の情報漏洩を最小限に抑える。提案モデルでは,既存のGANモデルよりも質的,定量的な評価を3つのベンチマークデータセット(MS-COCO,CUB,オックスフォード)で行う。

関連論文リスト

Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients [0.0]
本稿では,Contrastive Unpaired Translation (CUT)モデルに基づく,教師なし画像から画像への変換手法を提案する。この新しいアプローチは、セマンティックラベルなしでも画像のセマンティック構造を確実に保存する。本手法は,GTA5データセットから都市景観データセットのリアルな都市シーンへの合成ゲーム環境の変換について検討した。
論文参考訳（メタデータ） (2024-09-24T12:44:27Z)
BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-03-11T17:59:31Z)
The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses [0.35898124827270983]
本稿では,2つの損失関数の新たな組み合わせであるフェイク・ツー・フェイク・ツー・フェイク・フェイク・ロスと,フェイク・トゥ・リアル・ロスの対比学習手法を提案する。このアプローチをSSAGANとAttnGANの2つのベースラインモデルで検証する。提案手法は,CUBデータセットのスタイルブロックを用いて,AttnGANの定性的な結果を改善することを示す。
論文参考訳（メタデータ） (2023-12-18T00:05:28Z)
RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
論文参考訳（メタデータ） (2023-05-31T06:59:21Z)
Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
論文参考訳（メタデータ） (2022-04-01T13:55:44Z)
Image Inpainting via Conditional Texture and Structure Dual Generation [26.97159780261334]
本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。 CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
論文参考訳（メタデータ） (2021-08-22T15:44:37Z)
Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
論文参考訳（メタデータ） (2021-08-03T08:38:16Z)
Diverse Image Inpainting with Bidirectional and Autoregressive Transformers [55.21000775547243]
新規な双方向自己回帰トランス(BAT)を用いた画像インペインティングフレームワークBAT-Fillを提案する。 BAT-Fillは変換器とCNNの利点を2段階的に継承し、変換器の注意の二次的複雑さに制約されることなく高解像度のコンテンツを生成する。
論文参考訳（メタデータ） (2021-04-26T03:52:27Z)
Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
論文参考訳（メタデータ） (2021-04-01T15:48:01Z)
DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
論文参考訳（メタデータ） (2020-08-13T12:51:17Z)
Text-Guided Neural Image Inpainting [20.551488941041256]
塗装作業では、劣化した画像をコンテキストに整合した内容で埋める必要がある。本論文の目的は, 提供される記述文に従って, 劣化画像中の意味情報を埋めることである。テキストガイドデュアルアテンション・インパインティング・ネットワーク(TDANet)という新しいインパインティング・モデルを提案する。
論文参考訳（メタデータ） (2020-04-07T09:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。