論文の概要: RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models
- arxiv url: http://arxiv.org/abs/2608.02953v2
- Date: Mon, 10 Aug 2026 09:30:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.422909
- Title: RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models
- Title（参考訳）: リアルウェザー(RealWeather) - 実世界モデルによる現実的・情景的気象翻訳
- Abstract要約: RealWeatherは、現実的かつシーンに忠実な天気の翻訳のための運転世界モデルである。
私たちのキーとなるアイデアは、実際のビデオから直接、本物の天気のダイナミクスを学ぶことです。
実験により、RealWeatherは視覚リアリズムや構造保存において、既存の手法を著しく上回っていることが示された。
- 参考スコア（独自算出の注目度）: 42.84298567152532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Realistic weather translation is valuable for developing and evaluating autonomous driving systems, yet collecting paired videos of the same scenes under different weather conditions at scale is impractical. Existing methods therefore rely on synthetic data, 3D weather editing, or geometry-conditioned generation, often compromising weather realism or scene fidelity. We propose RealWeather, a driving world model for both realistic and scene-faithful weather translation. Our key idea is to learn authentic weather dynamics directly from real-world videos. Specifically, RealWeather employs Progressive Realism Bootstrapping, an iterative data-refinement strategy. Assisted by an auxiliary Pseudo-Clear Generation pipeline, training initially starts with pseudo-style conditioning videos. As training proceeds, these inputs are progressively replaced with increasingly realistic videos generated by the model itself. This strategy bridges the pseudo-to-real domain gap, allowing the model to adapt seamlessly to real-world input distributions and naturally support bidirectional clear adverse translation. Furthermore, to strictly enforce structural integrity and suppress hallucinations, we introduce Scene-Fidelity RL Optimization, a reward-driven policy optimization strategy that explicitly penalizes alterations to safety-critical driving elements. Extensive experiments demonstrate that RealWeather significantly outperforms existing methods in visual realism and structural preservation, while enabling robust long-tail weather scenario generation and strong zero-shot out-of-distribution generalization. Our video demos can be found at https://hust-umi.github.io/RealWeather/.
- Abstract（参考訳）: 現実的な気象翻訳は、自律走行システムの開発と評価に有用であるが、異なる気象条件下で同じシーンのペアビデオの収集は現実的ではない。
既存の手法は、合成データや3D気象編集、幾何学的条件付き生成に依存しており、しばしば気象リアリズムやシーンの忠実さを損なう。
本研究ではリアルウェザー(RealWeather)を提案する。
私たちのキーとなるアイデアは、実際のビデオから直接、本物の天気のダイナミクスを学ぶことです。
具体的には、RealWeatherでは、反復的なデータリファインメント戦略であるProgressive Realism Bootstrappingを採用している。
補助的なPseudo-Clear Generationパイプラインによって支援されたトレーニングは、最初は擬似スタイルのコンディショニングビデオから始まる。
トレーニングが進むにつれて、これらの入力は徐々にモデル自体によって生成される現実的なビデオに置き換えられる。
この戦略は擬似-実領域ギャップを橋渡しし、モデルが現実世界の入力分布にシームレスに適応し、双方向の明確な逆変換を自然にサポートする。
さらに, 構造的整合性を厳格に実施し, 幻覚を抑制するため, 安全クリティカルな駆動要素への変更を明示的に罰する報酬駆動型ポリシー最適化戦略であるScene-Fidelity RL Optimizationを導入する。
大規模な実験により、RealWeatherは視覚リアリズムや構造保存において既存の手法を著しく上回り、堅牢な長期気象シナリオ生成と強力なゼロショットアウト・オブ・ディストリビューションの一般化を可能にした。
私たちのビデオデモはhttps://hust-umi.github.io/RealWeather/.comで見ることができる。
関連論文リスト
- Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data [6.193129698981512]
本稿では,潜伏拡散に基づく気象編集のための統合フレームワークであるCycloneを紹介する。
提案手法は,既存のベースラインよりもリアルで,構造を保った出力を生成する。
論文 参考訳（メタデータ） (2026-07-15T15:08:45Z) - Semantic-Aware, Physics-Informed, Geometry-Grounded Weather Video Synthesis [81.61856788730198]
天気合成は、シーンのアイデンティティ、構造、動きを保存しながら、入力ビデオに気象効果を加えることを目的としている。
ほとんどのアプローチはテキストプロンプトに依存しており、本質的に不特定であり、しばしば詳細な気象特性を生成できない。
本稿では,多種多様なグローバルな外見と詳細な粒子動力学を合成するために,既製のビデオエディタを利用するセマンティック・アウェア,物理インフォームド,ジオメトリ・グラウンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-27T17:38:21Z) - DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer [62.18680935878919]
レンダリングを時間的に一貫した出力に変換するオンライン生成拡張フレームワークであるDiffusionHarmonizerを紹介した。
コアとなるのは、単一のGPU上でオンラインシミュレータで実行可能な、一段階の時間的条件付きエンハンサーである。
論文 参考訳（メタデータ） (2026-02-27T15:35:30Z) - ClimaOoD: Improving Anomaly Segmentation via Physically Realistic Synthetic Data [16.145130650604344]
我々は,意味的コヒーレント,気象多様性,物理的に妥当なOoD駆動データを合成するためのセマンティックス誘導イメージ・ツー・イメージ・フレームワークを提案する。
この枠組みに基づいて,晴天条件と悪天候条件の両方で6つの代表的な運転シナリオにまたがる大規模ベンチマークであるClimaOoDを構築した。
論文 参考訳（メタデータ） (2025-12-02T12:14:19Z) - Real-World Adverse Weather Image Restoration via Dual-Level Reinforcement Learning with High-Quality Cold Start [12.423595039024597]
逆天候は現実世界の視覚を著しく損なうが、既存の視覚モデルは複雑な劣化への一般化に苦慮している。
まず,様々な気象現象をシミュレートする物理駆動型データセットであるHFLS-Weatherを構築し,冷間開始訓練のためのHFLS-Weatherを用いた2段階強化学習フレームワークを設計する。
このフレームワークは、現実世界の状況への継続的な適応を可能にし、幅広い悪天候シナリオで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-11-07T09:22:53Z) - Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining [73.5575992346396]
本稿では,ビデオシーケンスにおけるストリーク除去を改善するために,2分岐時間状態空間モデルを提案する。
マルチフレーム機能融合を改善するために,画素ワイド機能改善のための統計的フィルタを適応的に近似する動的フィルタ積層法を提案する。
降雨環境における他の視覚に基づくタスクを支援する上でのデラミニングモデルの能力をさらに探求するため,我々は新しい実世界ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-05-22T15:50:00Z) - Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。
本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
論文 参考訳（メタデータ） (2025-05-01T17:59:57Z) - Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T14:21:30Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。