論文の概要: Controllable Weather Synthesis and Removal with Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.00704v1
• Date: Thu, 01 May 2025 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.400009
• Title: Controllable Weather Synthesis and Removal with Video Diffusion Models
• Title（参考訳）: ビデオ拡散モデルによる制御可能な気象合成と除去
• Authors: Chih-Hao Lin, Zian Wang, Ruofan Liang, Yuxuan Zhang, Sanja Fidler, Shenlong Wang, Zan Gojcic,
• Abstract要約: WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
• 参考スコア（独自算出の注目度）: 61.56193902622901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating realistic and controllable weather effects in videos is valuable for many applications. Physics-based weather simulation requires precise reconstructions that are hard to scale to in-the-wild videos, while current video editing often lacks realism and control. In this work, we introduce WeatherWeaver, a video diffusion model that synthesizes diverse weather effects -- including rain, snow, fog, and clouds -- directly into any input video without the need for 3D modeling. Our model provides precise control over weather effect intensity and supports blending various weather types, ensuring both realism and adaptability. To overcome the scarcity of paired training data, we propose a novel data strategy combining synthetic videos, generative image editing, and auto-labeled real-world videos. Extensive evaluations show that our method outperforms state-of-the-art methods in weather simulation and removal, providing high-quality, physically plausible, and scene-identity-preserving results over various real-world videos.
• Abstract（参考訳）: ビデオで現実的で制御可能な気象効果を生成することは、多くのアプリケーションにとって価値がある。 物理ベースの気象シミュレーションでは、既存のビデオ編集ではリアリズムやコントロールが欠如しているのに対して、Wildビデオのスケールが難しい正確な再構成が必要である。 本研究では,雨,雪,霧,雲など多様な気象効果を3Dモデリングなしで直接入力ビデオに合成する映像拡散モデルであるWeatherWeaverを紹介する。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。 ペアトレーニングデータの不足を克服するために,合成ビデオ,生成画像編集,自動ラベル付き実世界のビデオを組み合わせた新しいデータ戦略を提案する。 広範に評価した結果,本手法は気象シミュレーションと除去における最先端の手法よりも優れており,高品質で物理的に可視であり,実世界の様々なビデオ上でのシーン・アイデンティティ保存の結果が得られている。

関連論文リスト

• Removing Multiple Hybrid Adverse Weather in Video via a Unified Model [6.868658821057831]
  我々はUniWRVと呼ばれる新しい統一モデルを提案し、オールインワン方式で複数の異種映像の天気劣化を除去する。 我々のUniWRVは、複数の異種劣化学習シナリオにおいて、堅牢で優れた適応能力を示す。
  論文  参考訳（メタデータ） (2025-03-08T13:01:22Z)
• SimVS: Simulating World Inconsistencies for Robust View Synthesis [102.83898965828621]
  本稿では、生成ビデオモデルを利用して、キャプチャ中に起こりうる世界の不整合をシミュレートする手法を提案する。 我々の世界シミュレーション戦略は、現実のシーンのバリエーションを扱う上で、従来の拡張手法よりも大幅に優れていることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T17:35:12Z)
• Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
  本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。 本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。 提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-09-05T04:55:40Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation [45.184188689391775]
  ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。 我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-24T17:13:55Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field [57.859851662796316]
  シーンのNeRFモデルを用いて物理シミュレーションを融合する新しいNeRF編集手法について述べる。 結果はSOTA 2D画像編集やSOTA 3D NeRFスタイリングよりもはるかにリアルである。
  論文  参考訳（メタデータ） (2022-11-23T18:59:13Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。