論文の概要: Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation

• arxiv url: http://arxiv.org/abs/2501.00637v1
• Date: Tue, 31 Dec 2024 20:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:47.921667
• Title: Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation
• Title（参考訳）: Flash-Split:フラッシュキューと遅延拡散分離による2次元反射除去
• Authors: Tianfu Wang, Mingyang Xie, Haoming Cai, Sachin Shah, Christopher A. Metzler,
• Abstract要約: Flash-Splitは、送信された光と反射した光を分離するためのフレームワークである。 Flash-Splitを実世界の挑戦的なシーンで検証することにより、最先端のリフレクション分離性能を示す。
• 参考スコア（独自算出の注目度）: 15.530943752811929
• License:
• Abstract: Transparent surfaces, such as glass, create complex reflections that obscure images and challenge downstream computer vision applications. We introduce Flash-Split, a robust framework for separating transmitted and reflected light using a single (potentially misaligned) pair of flash/no-flash images. Our core idea is to perform latent-space reflection separation while leveraging the flash cues. Specifically, Flash-Split consists of two stages. Stage 1 separates apart the reflection latent and transmission latent via a dual-branch diffusion model conditioned on an encoded flash/no-flash latent pair, effectively mitigating the flash/no-flash misalignment issue. Stage 2 restores high-resolution, faithful details to the separated latents, via a cross-latent decoding process conditioned on the original images before separation. By validating Flash-Split on challenging real-world scenes, we demonstrate state-of-the-art reflection separation performance and significantly outperform the baseline methods.
• Abstract（参考訳）: ガラスのような透明な表面は複雑な反射を作り、不明瞭な画像を作り、下流のコンピュータビジョンアプリケーションに挑戦する。 我々は,送信光と反射光を分離する堅牢なフレームワークであるFlash-Splitを紹介した。 私たちの中核となる考え方は、フラッシュキューを活用しながら、遅延空間のリフレクション分離を行うことです。 具体的には、Flash-Splitは2つのステージから構成される。 ステージ1は、符号化されたフラッシュ/ノーフラッシュ遅延ペアに条件付きデュアルブランチ拡散モデルを介して反射潜時と送信潜時を分離し、フラッシュ/ノーフラッシュ誤調整問題を効果的に緩和する。 ステージ2は、分離前に元のイメージに条件付けされたクロスラテントデコーディングプロセスを通じて、分離された潜伏者に対する高解像度で忠実な詳細を復元する。 実世界の課題に対してFlash-Splitを検証することにより、最先端のリフレクション分離性能を示し、ベースライン法を大幅に上回った。

関連論文リスト

• Flash-Splat: 3D Reflection Removal with Flash Cues and Gaussian Splats [13.27784783829039]
  透過光と反射光を分離する簡単な方法を提案する。 提案手法であるFlash-Splatは,3次元の伝送シーンと反射シーンの両方を正確に再構成する。
  論文  参考訳（メタデータ） (2024-10-03T17:59:59Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Robust Reflection Removal with Flash-only Cues in the Wild [88.13531903652526]
  一対のフラッシュと周囲(非フラッシュ)画像から頑健な反射除去のための反射除去キューを提案する。 提案手法はPSNRにおいて5.23dB以上の反射除去手法より優れる。 我々は、フラッシュと非フラッシュのペア間の不整合に対処するために、ハンドヘルド写真へのアプローチを拡張した。
  論文  参考訳（メタデータ） (2022-11-05T14:09:10Z)
• Seeing Far in the Dark with Patterned Flash [5.540878289831889]
  遠距離でのフラッシュイメージングのための新しいフラッシュ技術「パターンフラッシュ」を提案する。 パターンフラッシュは光電力をドットアレイに集中させる。 畳み込みニューラルネットワークを用いた画像再構成と深度推定アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-25T23:16:50Z)
• Robust Reflection Removal with Reflection-free Flash-only Cues [52.46297802064146]
  一対のフラッシュと周囲(非フラッシュ)画像から頑健な反射除去のための反射除去キューを提案する。 提案手法はPSNRでは5.23dB,SSIMでは0.04,LPIPSでは0.068以上の反射除去手法より優れていた。
  論文  参考訳（メタデータ） (2021-03-07T05:27:43Z)
• Deep Denoising of Flash and No-Flash Pairs for Photography in Low-Light Environments [51.74566709730618]
  低照度環境下でのフラッシュの有無にかかわらず、高速連続で撮影された画像のペアをデノイズするニューラルネットワークベースの方法を紹介します。 私たちの目標は、ノイズの多いノーフラッシュ画像の周囲照明から色と気分を維持するシーンの高品質のレンダリングを作成することです。
  論文  参考訳（メタデータ） (2020-12-09T15:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。