論文の概要: From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection
- arxiv url: http://arxiv.org/abs/2608.11562v1
- Date: Wed, 12 Aug 2026 01:59:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.414285
- Title: From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection
- Title(参考訳): 合成から除去へ:物理を取り巻く反射シミュレーションと拡散に基づくビデオデフレクション
- Abstract要約: 本稿では,物理基底反射シミュレーション,拡散型デフレクション,ベンチマーク評価を統一するクローズドループフレームワークを提案する。
S2R-Benchと複数の公開画像ベンチマークの実験では、非拡散ベースラインよりも最先端の性能と高速な推論が示されている。
- 参考スコア(独自算出の注目度): 14.243013084823518
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Videos captured through glass often contain reflections that degrade visual quality and interfere with downstream vision tasks. Although single-image reflection removal has been extensively studied, video reflection removal remains largely underexplored due to the lack of paired video data, temporally coherent removal models, and dedicated evaluation benchmarks. We present a closed-loop framework that unifies physics-grounded reflection simulation, diffusion-based video dereflection, and benchmark evaluation. Our S2R-Synthesis pipeline generates paired reflected and reflection-free videos by performing physics-grounded augmentation in the structure space and rendering realistic reflected videos with a trained video diffusion renderer; the augmentation models key glass-related effects including roughness-induced blur, thickness-induced ghosting, and reflectance variation. Based on the synthesized data, we introduce S2R-Removal, the first diffusion-based video reflection removal model, which adapts a pretrained video diffusion prior through reflection-aware latent adaptation and one-step pixel-geometric refinement, recovering the clean transmission in a single denoising step. We further build S2R-Bench, the first benchmark for video reflection removal, supporting both full-reference evaluation and real-world human perceptual assessment. Experiments on S2R-Bench and multiple public image benchmarks demonstrate state-of-the-art performance and faster inference than even non-diffusion baselines, and validate the effectiveness of S2R-Synthesis. Project page: https://codingwzp.github.io/VideoDereflection_S2R.
- Abstract(参考訳): ガラスで撮影したビデオは、しばしば視覚的品質を低下させ、下流の視覚タスクを妨害する反射を含んでいる。
シングルイメージのリフレクション除去は広く研究されているが、ビデオのリフレクション除去は、ペア化されたビデオデータ、時間的コヒーレントな除去モデル、専用評価ベンチマークの欠如により、ほとんど未探索のままである。
本稿では,物理基底反射シミュレーション,拡散型ビデオデフレクション,ベンチマーク評価を統一するクローズドループフレームワークを提案する。
我々のS2R-シンセシスパイプラインは、構造空間で物理地上の強化を行い、訓練されたビデオ拡散レンダラーでリアルな反射映像をレンダリングすることにより、ペア化された反射映像と反射映像を生成する。
合成データに基づいて,反射認識潜時適応と1段階の画素幾何補正により事前学習した映像拡散を適応させ,クリーンな伝送を1段階の復調ステップで回収する,最初の拡散に基づくビデオ反射除去モデルであるS2R-Removalを導入する。
さらに、ビデオ反射除去のための最初のベンチマークであるS2R-Benchを構築し、フル参照評価と実世界の人間の知覚評価の両方をサポートする。
S2R-Benchと複数の公開画像ベンチマークの実験は、非拡散ベースラインよりも最先端の性能と高速な推論を示し、S2R-Synthesisの有効性を検証する。
プロジェクトページ: https://codingwzp.github.io/VideoDereflection_S2R。
関連論文リスト
- EvReflection: Event-Driven Micro-Dynamics for Reflection Removal [8.328713790877119]
EvReflectionは、イベント駆動のリフレクション除去ネットワークである。
EvReflectionは、合成ベンチマークと実世界のベンチマークの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-08-06T15:44:10Z) - FUMO: Prior-Modulated Diffusion for Single Image Reflection Removal [51.98991734660274]
本稿では、空間制御性と構造忠実性を改善するために、明示的な誘導信号を導入した事前変調フレームワーク(FUMO)を用いた拡散モデルを提案する。
標準ベンチマークと野生での挑戦的な画像の両方で実施された実験は、競争力のある定量的結果を示し、知覚品質を継続的に改善した。
論文 参考訳(メタデータ) (2026-03-19T15:33:11Z) - Reflection Removal through Efficient Adaptation of Diffusion Transformers [30.68558779968187]
単像反射除去のための拡散変換器(DiT)フレームワークを提案する。
我々は,既存の反射除去データソースを多様性,拡張性,フォトリアリズムについて分析する。
現実的なガラス材料と反射効果を合成するために,Blenderに物理ベースレンダリングパイプラインを構築した。
論文 参考訳(メタデータ) (2025-12-04T17:12:39Z) - MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference [83.38607296779423]
より物理的な環境モデルを用いた多視点一貫した物質推定がガウススプラッティングによる正確な反射の学習の鍵となることを示す。
本手法は照明と幾何学の両方を忠実に復元し,新しいビュー合成における最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2025-10-13T13:29:20Z) - Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering [51.223347330075576]
Ref-Unlockは3Dガウススプラッティングをベースとした新しい幾何認識反射モデリングフレームワークである。
提案手法では、高次球面高調波を用いた二重分岐表現を用いて、高周波反射の詳細を捉える。
そこで本手法は,反射シーンのリアルなレンダリングのための効率的で一般化可能なソリューションを提供する。
論文 参考訳(メタデータ) (2025-07-08T15:45:08Z) - Utilizing Multi-step Loss for Single Image Reflection Removal [0.9208007322096532]
歪んだイメージは、オブジェクト検出やイメージセグメンテーションといったタスクに悪影響を及ぼす可能性がある。
単一画像を用いた画像反射除去のための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-12-11T17:57:25Z) - Relightify: Relightable 3D Faces from a Single Image via Diffusion
Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。
既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文 参考訳(メタデータ) (2023-05-10T11:57:49Z) - Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。
RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。
5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
論文 参考訳(メタデータ) (2020-12-02T03:14:57Z) - User-assisted Video Reflection Removal [14.913848002123643]
本稿では,映像のリフレクション除去のためのユーザ支援手法を提案する。
空間的情報と時間的情報の両方に頼り、疎いユーザヒントを使って分離を改善する。
実験の結果,提案手法は映像系列からの反射の除去に成功し,映像歪みを導入せず,また,文献における最先端の反射除去方法よりも著しく優れていることがわかった。
論文 参考訳(メタデータ) (2020-09-07T17:42:40Z) - Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
野生の偏光画像からの反射を除去するための新しい定式化法を提案する。
まず、既存のリフレクション除去データセットの不整合問題を同定する。
我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
論文 参考訳(メタデータ) (2020-03-28T13:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。