論文の概要: PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal

• arxiv url: http://arxiv.org/abs/2402.02374v1
• Date: Sun, 4 Feb 2024 07:11:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:15:15.575261
• Title: PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal
• Title（参考訳）: PromptRR: 単体反射除去用プロンプト発電機としての拡散モデル
• Authors: Tao Wang, Wanglong Lu, Kaihao Zhang, Wenhan Luo, Tae-Kyun Kim, Tong Lu, Hongdong Li, Ming-Hsuan Yang
• Abstract要約: 既存のシングルイメージリフレクション除去法(SIRR)は、画像のキー低周波(LF)と高周波(HF)の違いを見逃す傾向がある。 本稿では、周波数情報を新しい視覚的プロンプトとして利用し、反射性能を向上する新しいプロンプト誘導反射除去フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 138.38229287266915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing single image reflection removal (SIRR) methods using deep learning tend to miss key low-frequency (LF) and high-frequency (HF) differences in images, affecting their effectiveness in removing reflections. To address this problem, this paper proposes a novel prompt-guided reflection removal (PromptRR) framework that uses frequency information as new visual prompts for better reflection performance. Specifically, the proposed framework decouples the reflection removal process into the prompt generation and subsequent prompt-guided restoration. For the prompt generation, we first propose a prompt pre-training strategy to train a frequency prompt encoder that encodes the ground-truth image into LF and HF prompts. Then, we adopt diffusion models (DMs) as prompt generators to generate the LF and HF prompts estimated by the pre-trained frequency prompt encoder. For the prompt-guided restoration, we integrate specially generated prompts into the PromptFormer network, employing a novel Transformer-based prompt block to effectively steer the model toward enhanced reflection removal. The results on commonly used benchmarks show that our method outperforms state-of-the-art approaches. The codes and models are available at https://github.com/TaoWangzj/PromptRR.
• Abstract（参考訳）: ディープラーニングを用いた既存の単一画像反射除去法(SIRR)は、画像のキー低周波(LF)と高周波(HF)の違いを見逃しがちであり、反射除去の有効性に影響を及ぼす。 この問題に対処するために,周波数情報を新しい視覚的プロンプトとして用いた新しいプロンプト誘導反射除去(PromptRR)フレームワークを提案する。 特に,提案手法では,リフレクション除去プロセスをプロンプト生成と後続のプロンプトガイド修復に分離する。 提案手法は,まず,提案手法を用いて,地上の映像をLFおよびHFプロンプトに符号化する周波数プロンプトエンコーダを訓練する。 次に、拡散モデル(DM)をプロンプト生成器として採用し、プレトレーニング周波数プロンプトエンコーダによって推定されるLFおよびHFプロンプトを生成する。 本稿では,PromptFormerネットワークに特別なプロンプトを組み込み,新しいTransformerベースのプロンプトブロックを用いて,改良されたリフレクション除去に向けてモデルを効果的に操る。 ベンチマークの結果から,本手法は最先端手法よりも優れていることが示された。 コードとモデルはhttps://github.com/taowangzj/promptrrで入手できる。

関連論文リスト

• InstantIR: Blind Image Restoration with Instant Generative Reference [10.703499573064537]
  本稿では,新しい拡散型BIR法であるInstant-Reference Image Restoration(InstantIR)を紹介する。 まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。 各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。 劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。
  論文  参考訳（メタデータ） (2024-10-09T05:15:29Z)
• Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration [44.35766203309201]
  本研究では,FProと呼ばれる周波数プロンプト画像復元手法を開発し,この手法により周波数パースペクティブ・コンポーネントを効果的に提供し,復元モデルを誘導する。 5つの画像復元作業において,SOTA法に対するパイプラインの良好な性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-03-30T08:42:34Z)
• Single Image Reflection Removal with Reflection Intensity Prior Knowledge [14.335849624907611]
  本稿では、反射現象の強度を捉えるための一般的な反射強度を提案する。 画像の領域パッチへの分割により、RPENは画像に先立って一様でない反射を学習する。 本稿では, 単純なトランスフォーマU-Netアーキテクチャを用いて, プリエントベース反射除去ネットワーク(PRRN)を提案する。
  論文  参考訳（メタデータ） (2023-12-06T14:52:11Z)
• Reverse Stable Diffusion: What prompt was used to generate this image? [73.10116197883303]
  本研究では, 生成拡散モデルにより生成された画像に対して, 迅速な埋め込みを予測できる課題について検討する。 本稿では,複数ラベルの語彙分類を目的とする共同学習フレームワークを提案する。 我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
  論文  参考訳（メタデータ） (2023-08-02T23:39:29Z)
• Robust Real-World Image Super-Resolution against Adversarial Attacks [115.04009271192211]
  準知覚不可能な雑音を持つ逆画像サンプルは、深層学習SRモデルを脅かす可能性がある。 本稿では,現実のSRに対して,潜在的な敵対的雑音をランダムに消去する頑健なディープラーニングフレームワークを提案する。 提案手法は敵攻撃に敏感であり,既存のモデルや防御よりも安定なSR結果を示す。
  論文  参考訳（メタデータ） (2022-07-31T13:26:33Z)
• ReflectNet -- A Generative Adversarial Method for Single Image Reflection Suppression [0.6980076213134382]
  本稿では,文脈理解モジュールと敵対的学習に基づく単一の画像反射除去手法を提案する。 提案手法は,PSNR と SSIM の観点から,SIR のベンチマークデータセット上で,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-05-11T17:33:40Z)
• Location-aware Single Image Reflection Removal [54.93808224890273]
  本稿では,位置認識型深層学習に基づく単一画像反射除去手法を提案する。 我々は,リフレクション信頼度マップをネットワークの手がかりとして活用し,リフレクション情報を適応的にエンコードする方法を学習する。 位置情報のネットワークへの統合は、反射除去結果の品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-12-13T19:34:35Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。