論文の概要: Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal

• arxiv url: http://arxiv.org/abs/2407.01104v1
• Date: Mon, 1 Jul 2024 09:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:19:31.912821
• Title: Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal
• Title（参考訳）: 自己教師付きシャドウ除去のための意味誘導逆拡散モデル
• Authors: Ziqi Zeng, Chen Zhao, Weiling Cai, Chenyu Dong,
• Abstract要約: GANベースのトレーニングは、しばしばモード崩壊や不安定な最適化といった問題に直面している。 自己教師付きシャドウ除去のための意味誘導逆拡散フレームワークを提案する。 複数の公開データセットで実験を行い,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 5.083330121710086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing unsupervised methods have addressed the challenges of inconsistent paired data and tedious acquisition of ground-truth labels in shadow removal tasks. However, GAN-based training often faces issues such as mode collapse and unstable optimization. Furthermore, due to the complex mapping between shadow and shadow-free domains, merely relying on adversarial learning is not enough to capture the underlying relationship between two domains, resulting in low quality of the generated images. To address these problems, we propose a semantic-guided adversarial diffusion framework for self-supervised shadow removal, which consists of two stages. At first stage a semantic-guided generative adversarial network (SG-GAN) is proposed to carry out a coarse result and construct paired synthetic data through a cycle-consistent structure. Then the coarse result is refined with a diffusion-based restoration module (DBRM) to enhance the texture details and edge artifact at second stage. Meanwhile, we propose a multi-modal semantic prompter (MSP) that aids in extracting accurate semantic information from real images and text, guiding the shadow removal network to restore images better in SG-GAN. We conduct experiments on multiple public datasets, and the experimental results demonstrate the effectiveness of our method.
• Abstract（参考訳）: 既存の教師なし手法は, シャドー除去作業において, 一貫性のないペアデータや, 地平線ラベルの面倒な取得といった課題に対処してきた。 しかし、GANベースのトレーニングは、しばしばモード崩壊や不安定な最適化といった問題に直面している。 さらに、影のない領域と影のない領域の複雑なマッピングのため、敵対的な学習に頼るだけでは、2つの領域の関係を捉えるには不十分であり、結果として生成された画像の品質は低下する。 これらの問題に対処するために,2段階からなる自己監督型シャドウ除去のための意味誘導逆拡散フレームワークを提案する。 まず, 意味誘導型生成逆数ネットワーク (SG-GAN) を提案し, 粗い結果を実行し, サイクル整合構造を用いて合成データを合成する。 そして、拡散型修復モジュール(DBRM)で粗い結果を精錬し、第2段階におけるテクスチャの詳細とエッジアーティファクトを強化する。 一方,実画像やテキストから正確な意味情報を抽出し,SG-GANにおける画像の復元を支援するマルチモーダル・セマンティック・プロンプト(MSP)を提案する。 複数の公開データセットで実験を行い,本手法の有効性を実証した。

関連論文リスト

• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Decomposing and Coupling Saliency Map for Lesion Segmentation in Ultrasound Images [10.423431415758655]
  超音波画像の複雑なシナリオは、隣接する組織が類似の強度を共有し、よりリッチなテクスチャパターンを含むことで、正確な病変のセグメンテーションに固有の課題をもたらす。 この研究はDC-Netと呼ばれる分解結合ネットワークを示し、(地上背景)サリエンシマップのアンタングルメント・フュージョン方式でこの問題に対処する。 提案手法は2つの超音波病変セグメンテーションタスクで評価され,既存の最先端手法よりも顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2023-08-02T05:02:30Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Multiscale Structure Guided Diffusion for Image Deblurring [24.09642909404091]
  拡散確率モデル (DPM) は画像の劣化に用いられている。 暗黙のバイアスとして、単純だが効果的なマルチスケール構造ガイダンスを導入する。 目に見えないデータのアーティファクトが少ないほど、より堅牢なデブロアリング結果を示します。
  論文  参考訳（メタデータ） (2022-12-04T10:40:35Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
  本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。 生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。 また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
  論文  参考訳（メタデータ） (2022-07-17T10:34:58Z)
• Unpaired Adversarial Learning for Single Image Deraining with Rain-Space Contrastive Constraints [61.40893559933964]
  我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。 提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-09-07T10:00:45Z)
• U-DuDoNet: Unpaired dual-domain network for CT metal artifact reduction [12.158957925558296]
  非ペア化データを用いた非ペア化デュアルドメインネットワーク(u-dudonet)を提案する。 アーティファクト・ディエンタングルメント・ネットワーク (ADN) とは異なり、U-DuDoNet は正弦波と画像領域の両方に付加することでアーティファクト生成プロセスをモデル化します。 私たちのデザインには、シングラムドメイン内の情報を復元するためのガイダンスを提供する自己学習シングラム事前ネットが含まれています。
  論文  参考訳（メタデータ） (2021-03-08T05:19:15Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。