論文の概要: UENR-600K: A Large-Scale Physically Grounded Dataset for Nighttime Video Deraining
- arxiv url: http://arxiv.org/abs/2604.04402v1
- Date: Mon, 06 Apr 2026 04:01:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.084234
- Title: UENR-600K: A Large-Scale Physically Grounded Dataset for Nighttime Video Deraining
- Title(参考訳): UENR-600K:夜間ビデオ配信のための大規模物理グラウンドデータセット
- Authors: Pei Yang, Hai Ci, Beibei Lin, Yiren Song, Mike Zheng Shou,
- Abstract要約: 雨滴が人工的な照明と相互作用するため、夜間ビデオのデコレーションは難しい。
UENR-600Kは600,000 1080pのフレーム対を含む大規模で物理的に座屈したデータセットである。
我々はUnreal Engineを用いて仮想環境内の雨を3次元粒子としてシミュレーションする。
- 参考スコア(独自算出の注目度): 58.726887410862055
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Nighttime video deraining is uniquely challenging because raindrops interact with artificial lighting. Unlike daytime white rain, nighttime rain takes on various colors and appears locally illuminated. Existing small-scale synthetic datasets rely on 2D rain overlays and fail to capture these physical properties, causing models to generalize poorly to real-world night rain. Meanwhile, capturing real paired nighttime videos remains impractical because rain effects cannot be isolated from other degradations like sensor noise. To bridge this gap, we introduce UENR-600K, a large-scale, physically grounded dataset containing 600,000 1080p frame pairs. We utilize Unreal Engine to simulate rain as 3D particles within virtual environments. This approach guarantees photorealism and physically real raindrops, capturing correct details like color refractions, scene occlusions, rain curtains. Leveraging this high-quality data, we establish a new state-of-the-art baseline by adapting the Wan 2.2 video generation model. Our baseline treat deraining as a video-to-video generation task, exploiting strong generative priors to almost entirely bridge the sim-to-real gap. Extensive benchmarking demonstrates that models trained on our dataset generalize significantly better to real-world videos. Project page: https://showlab.github.io/UENR-600K/.
- Abstract(参考訳): 雨滴が人工照明と相互作用するため、夜間ビデオのデコレーションは独特に難しい。
昼間の白雨とは異なり、夜間の雨は様々な色を呈し、局所的に照らされる。
既存の小規模の合成データセットは2次元の雨のオーバーレイに依存しており、これらの物理的特性を捉えることができないため、モデルは現実世界の夜間雨に悪影響を及ぼす。
一方、実際の夜間ビデオの撮影は、センサーノイズのような他の劣化から雨の影響を分離できないため、現実的ではない。
このギャップを埋めるために、600,000 1080pのフレーム対を含む大規模で物理的に基底化されたデータセットUENR-600Kを導入する。
我々はUnreal Engineを用いて仮想環境内の雨を3次元粒子としてシミュレーションする。
このアプローチは、フォトリアリズムと物理的に実際の雨滴を保証し、色の屈折、シーンの閉塞、レインカーテンといった正確な詳細をキャプチャする。
この高品質なデータを活用することで、Wan 2.2ビデオ生成モデルを適用することにより、最先端のベースラインを新たに構築する。
我々のベースラインは、デライニングをビデオからビデオへの生成タスクとして扱い、強力な生成前を生かして、シミュレートとリアルのギャップをほぼ完全に埋める。
大規模なベンチマークでは、データセットでトレーニングされたモデルが、実世界のビデオよりも大幅に一般化されていることが示されています。
プロジェクトページ: https://showlab.github.io/UENR-600K/。
関連論文リスト
- Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。
本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
論文 参考訳(メタデータ) (2025-05-01T17:59:57Z) - SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams [49.34425133546994]
雨の映像から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。
従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。
本研究では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。
論文 参考訳(メタデータ) (2025-03-26T08:28:28Z) - NightRain: Nighttime Video Deraining via Adaptive-Rain-Removal and
Adaptive-Correction [18.89549992743636]
適応線除去法と適応線補正法を組み合わせた新しい夜間ビデオデライン法であるNightRainを紹介する。
本手法は,従来の夜間ビデオデラリニング手法を約13.7%上回る26.73dBのPSNRを実現する。
論文 参考訳(メタデータ) (2024-01-01T11:54:51Z) - Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。
既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。
L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
論文 参考訳(メタデータ) (2023-05-06T10:17:42Z) - GTAV-NightRain: Photometric Realistic Large-scale Dataset for Night-time
Rain Streak Removal [30.93624632770902]
雨は透明で、シーンの光を反射し、カメラに反射する。
既存の雨害除去データセットでは, 密度, スケール, 方向, 強度が考慮されているが, 透明性は十分に考慮されていない。
本稿では,大規模な夜間降雨ストリーク除去データセットであるGTAV-NightRainデータセットを提案する。
論文 参考訳(メタデータ) (2022-10-10T14:08:09Z) - Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-06-22T00:10:06Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳(メタデータ) (2021-03-14T14:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。