Fugu-MT 論文翻訳(概要): Exploring the Capability of Text-to-Image Diffusion Models with Structural Edge Guidance for Multi-Spectral Satellite Image Inpainting

論文の概要: Exploring the Capability of Text-to-Image Diffusion Models with Structural Edge Guidance for Multi-Spectral Satellite Image Inpainting

arxiv url: http://arxiv.org/abs/2311.03008v2
Date: Fri, 15 Mar 2024 09:35:10 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 23:41:48.527479
Title: Exploring the Capability of Text-to-Image Diffusion Models with Structural Edge Guidance for Multi-Spectral Satellite Image Inpainting
Title（参考訳）: マルチスペクトル衛星画像へのエッジ誘導によるテキスト・画像拡散モデルの適用可能性の検討
Authors: Mikolaj Czerkawski, Christos Tachtatzis,
Abstract要約: 衛星画像データに対するテキスト・ツー・イメージ・インペインティング・モデルの有用性について検討する。 StableDiffusion と ControlNet に基づいた新しいインペイントフレームワークが導入された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The letter investigates the utility of text-to-image inpainting models for satellite image data. Two technical challenges of injecting structural guiding signals into the generative process as well as translating the inpainted RGB pixels to a wider set of MSI bands are addressed by introducing a novel inpainting framework based on StableDiffusion and ControlNet as well as a novel method for RGB-to-MSI translation. The results on a wider set of data suggest that the inpainting synthesized via StableDiffusion suffers from undesired artifacts and that a simple alternative of self-supervised internal inpainting achieves a higher quality of synthesis.
Abstract（参考訳）: 本文は,衛星画像データに対するテキスト・ツー・イメージ・インペインティング・モデルの有用性について検討する。構造導波路信号を生成プロセスに注入する2つの技術的課題と,RGB-to-MSI翻訳の新たな手法であるStableDiffusionとControlNetに基づく新しい塗膜フレームワークを導入することにより,より広いMSI帯域にRGB画素を変換する2つの技術的課題に対処する。以上の結果から,StableDiffusionを用いて合成したインパインティングは望ましくない人工物に悩まされ,自己監督型内部インパインティングの簡単な代替手段がより高品質な合成を実現することが示唆された。

関連論文リスト

DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting [2.656795553429629]
そこで本研究では,2つのアフィン変換生成逆数ネットワーク(DAFT-GAN)を提案する。提案手法は, 定性評価と定量的評価の両方において, 既存のGANモデルよりも優れている。
論文参考訳（メタデータ） (2024-08-09T09:28:42Z)
Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
論文参考訳（メタデータ） (2024-07-10T19:58:04Z)
MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。 MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
論文参考訳（メタデータ） (2024-04-03T14:58:00Z)
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
論文参考訳（メタデータ） (2023-11-22T11:10:45Z)
RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model [0.8747606955991705]
本研究では,高解像度衛星画像をテキストプロンプトから合成するための2段階拡散モデル手法を提案する。このパイプラインは、テキスト入力に基づいて初期画像を生成する低解像度拡散モデル(LRDM)と、これらの画像を高解像度出力に洗練する超解拡散モデル(SRDM)から構成される。
論文参考訳（メタデータ） (2023-09-03T09:34:49Z)
RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
論文参考訳（メタデータ） (2023-05-31T06:59:21Z)
Unsupervised Structure-Consistent Image-to-Image Translation [6.282068591820945]
Swapping Autoencoderは、ディープイメージ操作と画像から画像への変換において最先端のパフォーマンスを達成した。我々は、勾配反転層に基づく単純で効果的な補助モジュールを導入することにより、この作業を改善する。補助モジュールの損失は、ジェネレータが全ゼロテクスチャコードでイメージを再構築することを学ぶことを強制する。
論文参考訳（メタデータ） (2022-08-24T13:47:15Z)
Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文参考訳（メタデータ） (2022-06-30T18:31:51Z)
Modeling Image Composition for Complex Scene Generation [77.10533862854706]
本稿では,レイアウト・ツー・イメージ生成タスクにおける最先端結果を実現する手法を提案する。本稿では,RGB画像をパッチトークンに圧縮した後,オブジェクト・トゥ・オブジェクト,オブジェクト・トゥ・パッチ,パッチ・トゥ・パッチの依存関係を探索するTransformer with Focal Attention (TwFA)を提案する。
論文参考訳（メタデータ） (2022-06-02T08:34:25Z)
Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
論文参考訳（メタデータ） (2021-08-03T08:38:16Z)
Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues [6.437931036166344]
近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
論文参考訳（メタデータ） (2021-07-20T03:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。