論文の概要: Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting

• arxiv url: http://arxiv.org/abs/2403.19898v1
• Date: Fri, 29 Mar 2024 00:40:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:54:17.833039
• Title: Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting
• Title（参考訳）: 構造的問題:画像塗布用拡散モデルにおける意味的相違に対処する
• Authors: Haipeng Liu, Yang Wang, Biao Qian, Meng Wang, Yong Rui,
• Abstract要約: 画像塗布用拡散確率モデルのデノイングは、前処理中に画像のテクスチャにノイズを加えることを目的としており、逆デノイング処理により、テクスチャの未加工領域でマスク領域を復元することを目的としている。 意味のある意味論の生成にもかかわらず、既存の芸術は、意味的に密集した未成熟のテクスチャが完全に劣化せず、仮面の領域は拡散過程において純粋なノイズに変化し、それらの大きな違いをもたらすため、仮面と未成熟の領域間の意味的な相違に悩まされる。 従来のテクスチャ・デノナイズ法を改良したStrDiffusionという構造誘導拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 18.773724519657446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion probabilistic models for image inpainting aim to add the noise to the texture of image during the forward process and recover masked regions with unmasked ones of the texture via the reverse denoising process.Despite the meaningful semantics generation,the existing arts suffer from the semantic discrepancy between masked and unmasked regions, since the semantically dense unmasked texture fails to be completely degraded while the masked regions turn to the pure noise in diffusion process,leading to the large discrepancy between them.In this paper,we aim to answer how unmasked semantics guide texture denoising process;together with how to tackle the semantic discrepancy,to facilitate the consistent and meaningful semantics generation.To this end,we propose a novel structure-guided diffusion model named StrDiffusion,to reformulate the conventional texture denoising process under structure guidance to derive a simplified denoising objective for image inpainting,while revealing:1) the semantically sparse structure is beneficial to tackle semantic discrepancy in early stage, while dense texture generates reasonable semantics in late stage;2) the semantics from unmasked regions essentially offer the time-dependent structure guidance for the texture denoising process,benefiting from the time-dependent sparsity of the structure semantics.For the denoising process,a structure-guided neural network is trained to estimate the simplified denoising objective by exploiting the consistency of the denoised structure between masked and unmasked regions.Besides,we devise an adaptive resampling strategy as a formal criterion as whether structure is competent to guide the texture denoising process,while regulate their semantic correlations.Extensive experiments validate the merits of StrDiffusion over the state-of-the-arts.Our code is available at https://github.com/htyjers/StrDiffusion.
• Abstract（参考訳）: 画像インパインティングの拡散確率モデルは、前処理中に画像のテクスチャにノイズを付加することを目的としており、また、逆デマイングプロセスを通じてマスクされた領域を復元することを目的としている。意味的な意味論の生成にもかかわらず、既存の芸術は、意味的に密集した未マインドなテクスチャが拡散過程の純粋なノイズに変化する間、意味的に密接な未マインドなテクスチャが完全に劣化しないため、意味的に密接な非マインドなテクスチャが拡散過程の純粋なノイズに変化する。この論文では、非マインドなセマンティックスがテクスチャをガイドする方法、意味的不一致に対処し、セマンティックなセマンティックな生成を容易にし、セマンティックなセマンティックな生成を促進することを目的としている。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Diffusion Model for Camouflaged Object Detection [2.592600158870236]
  本稿では,拡散型物体検出のための拡散型フレームワーク diffCOD を提案する。 提案手法は,既存の11種類の最先端手法と比較して良好な性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T05:50:33Z)
• Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
  本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。 事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。 識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-07-19T14:35:42Z)
• Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting [102.19116213923614]
  ノイズ除去とセグメンテーションを交互に行うためのブーストネットワークを提案する。 我々は,ノイズによるセグメンテーション精度の低下に対処するだけでなく,画素別意味情報によってデノージング能力が向上することを示す。 実験の結果,デノイド画像の品質が大幅に向上し,セグメンテーション精度がクリーン画像に近いことを示した。
  論文  参考訳（メタデータ） (2021-02-24T06:48:45Z)
• Image Inpainting Guided by Coherence Priors of Semantics and Textures [62.92586889409379]
  セマンティクスとテクスチャ間のコヒーレンスプリエンスを導入することにより、セマンティクス的な方法で別々のテクスチャを完成させることに集中できる。 また,全体構造と詳細なテクスチャの観点から,セマンティクスとインペインテッドイメージの一貫性を制約する2つのコヒーレンス損失を提案する。
  論文  参考訳（メタデータ） (2020-12-15T02:59:37Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)
• Spatial-Adaptive Network for Single Image Denoising [14.643663950015334]
  本稿では,効率的な単一画像ブラインドノイズ除去のための空間適応型雑音除去ネットワーク(SADNet)を提案する。 本手法は, 定量的かつ視覚的に, 最先端の復調法を超越することができる。
  論文  参考訳（メタデータ） (2020-01-28T12:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。