論文の概要: SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency
- arxiv url: http://arxiv.org/abs/2303.07033v1
- Date: Mon, 13 Mar 2023 11:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 15:29:42.846243
- Title: SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency
- Title（参考訳）: SelfPromer: 深さ一貫性を備えたセルフプロンプトデハージングトランス
- Authors: Cong Wang and Jinshan Pan and Wanyu Lin and Jiangxin Dong and
Xiao-Ming Wu
- Abstract要約: 本研究は,画像デハージングに有効な深度整合型セルフプロンプトトランスを提案する。
ヘイズ残像とその明確な像の深さが異なるという観測によって動機づけられた。
VQGANに基づくエンコーダ・デコーダネットワークにプロンプト、プロンプト埋め込み、そしてインタプリタを組み込むことにより、より優れた知覚品質を実現することができる。
- 参考スコア（独自算出の注目度）: 60.03630732010197
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This work presents an effective depth-consistency self-prompt Transformer for
image dehazing. It is motivated by an observation that the estimated depths of
an image with haze residuals and its clear counterpart vary. Enforcing the
depth consistency of dehazed images with clear ones, therefore, is essential
for dehazing. For this purpose, we develop a prompt based on the features of
depth differences between the hazy input images and corresponding clear
counterparts that can guide dehazing models for better restoration.
Specifically, we first apply deep features extracted from the input images to
the depth difference features for generating the prompt that contains the haze
residual information in the input. Then we propose a prompt embedding module
that is designed to perceive the haze residuals, by linearly adding the prompt
to the deep features. Further, we develop an effective prompt attention module
to pay more attention to haze residuals for better removal. By incorporating
the prompt, prompt embedding, and prompt attention into an encoder-decoder
network based on VQGAN, we can achieve better perception quality. As the depths
of clear images are not available at inference, and the dehazed images with
one-time feed-forward execution may still contain a portion of haze residuals,
we propose a new continuous self-prompt inference that can iteratively correct
the dehazing model towards better haze-free image generation. Extensive
experiments show that our method performs favorably against the
state-of-the-art approaches on both synthetic and real-world datasets in terms
of perception metrics including NIQE, PI, and PIQE.
- Abstract（参考訳）: 本研究は,画像デハージングに有効な深度整合型セルフプロンプトトランスを提案する。
ヘイズ残像とその明確な像の深さが異なるという観測によって動機づけられた。
したがって、デハザード画像とクリア画像の深さ整合性を強制することは、デハザーズに必須である。
そこで本研究では, より優れた修復を行うために, ヘイズ入力画像とそれに対応する鮮明な画像との深度差の特徴に基づくプロンプトを開発する。
具体的には,入力画像から抽出した深部特徴を深度差特徴量に適用し,入力中のヘイズ残差情報を含むプロンプトを生成する。
そこで我々は,深い特徴にプロンプトを線形に追加することにより,迷路残差を知覚するプロンプト埋め込みモジュールを提案する。
さらに,より優れた除去のために,haze残差に注意を払うための効果的なプロンプトアテンションモジュールを開発した。
VQGANに基づくエンコーダ・デコーダネットワークにプロンプト、プロンプト埋め込み、そしてインタプリタを組み込むことにより、より優れた知覚品質を実現することができる。
画像の鮮明な深さは推論では得られず,一方のフィードフォワード実行によるデハズ化画像は依然として一部のヘイズ残差を含む可能性があるため,より優れたヘイズフリー画像生成に向けてデハズ化モデルを反復的に補正できる新しい連続自己プロンプト推論を提案する。
本手法は,NIQE,PI,PIQEなどの知覚指標を用いて,合成と実世界の両方のデータセットに対する最先端のアプローチに対して良好に作用することを示す。
関連論文リスト
- DRACO-DehazeNet: An Efficient Image Dehazing Network Combining Detail Recovery and a Novel Contrastive Learning Paradigm [3.649619954898362]
Detail RecoveryとContrastive DehazeNetは、特定のデハズされたシーンコンテキストへの拡張を調整した、詳細なイメージリカバリネットワークである。
大きな革新は、新しい四重項損失に基づくコントラストデハージングパラダイムによって達成された、限られたデータで効果的にトレーニングできることである。
論文 参考訳（メタデータ） (2024-10-18T16:48:31Z) - Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - Single Image Dehazing Using Scene Depth Ordering [15.929908168136823]
本研究では, 湿潤画像の深度秩序を利用して, 乾燥過程を導出する深度秩序誘導単写像デハージング法を提案する。
提案手法は、最先端の脱ハージング法よりも高い計算効率で、ポテンシャル構造と鮮明な色を復元することができる。
論文 参考訳（メタデータ） (2024-08-11T03:29:27Z) - Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing [9.195173526948123]
単一画像のデハジングを実現するために,デュアルタスク協調促進フレームワークを提案する。
このフレームワークは、デュアルタスク相互作用機構による深度推定とデハジングを統合している。
提案手法は,最先端手法よりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-03-02T06:29:44Z) - Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳（メタデータ） (2024-02-28T06:07:07Z) - End-to-end Learning for Joint Depth and Image Reconstruction from
Diffracted Rotation [10.896567381206715]
回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。
提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
論文 参考訳（メタデータ） (2022-04-14T16:14:37Z) - Robust Single Image Dehazing Based on Consistent and Contrast-Assisted
Reconstruction [95.5735805072852]
画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。
具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。
我々の手法は最先端のアプローチを大きく上回っている。
論文 参考訳（メタデータ） (2022-03-29T08:11:04Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳（メタデータ） (2021-02-21T05:24:18Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳（メタデータ） (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。