Fugu-MT 論文翻訳(概要): Controllable Weather Synthesis and Removal with Video Diffusion Models

論文の概要: Controllable Weather Synthesis and Removal with Video Diffusion Models

arxiv url: http://arxiv.org/abs/2505.00704v2
Date: Fri, 18 Jul 2025 19:07:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-22 14:33:32.053111
Title: Controllable Weather Synthesis and Removal with Video Diffusion Models
Title（参考訳）: ビデオ拡散モデルによる制御可能な気象合成と除去
Authors: Chih-Hao Lin, Zian Wang, Ruofan Liang, Yuxuan Zhang, Sanja Fidler, Shenlong Wang, Zan Gojcic,
Abstract要約: WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
参考スコア（独自算出の注目度）: 61.56193902622901
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generating realistic and controllable weather effects in videos is valuable for many applications. Physics-based weather simulation requires precise reconstructions that are hard to scale to in-the-wild videos, while current video editing often lacks realism and control. In this work, we introduce WeatherWeaver, a video diffusion model that synthesizes diverse weather effects -- including rain, snow, fog, and clouds -- directly into any input video without the need for 3D modeling. Our model provides precise control over weather effect intensity and supports blending various weather types, ensuring both realism and adaptability. To overcome the scarcity of paired training data, we propose a novel data strategy combining synthetic videos, generative image editing, and auto-labeled real-world videos. Extensive evaluations show that our method outperforms state-of-the-art methods in weather simulation and removal, providing high-quality, physically plausible, and scene-identity-preserving results over various real-world videos.
Abstract（参考訳）: ビデオで現実的で制御可能な気象効果を生成することは、多くのアプリケーションにとって価値がある。物理ベースの気象シミュレーションでは、既存のビデオ編集ではリアリズムやコントロールが欠如しているのに対して、Wildビデオのスケールが難しい正確な再構成が必要である。本研究では,雨,雪,霧,雲など多様な気象効果を3Dモデリングなしで直接入力ビデオに合成する映像拡散モデルであるWeatherWeaverを紹介する。本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。ペアトレーニングデータの不足を克服するために,合成ビデオ,生成画像編集,自動ラベル付き実世界のビデオを組み合わせた新しいデータ戦略を提案する。広範に評価した結果,本手法は気象シミュレーションと除去における最先端の手法よりも優れており,高品質で物理的に可視であり,実世界の様々なビデオ上でのシーン・アイデンティティ保存の結果が得られている。

関連論文リスト

SceneCrafter: Controllable Multi-View Driving Scene Editing [44.91248700043744]
SceneCrafterは、複数のカメラから撮影した運転シーンをリアルな3D一貫性で操作するための汎用的なエディタである。 SceneCrafterは、既存のベースラインと比較して最先端のリアリズム、制御性、3D一貫性、シーン編集品質を実現している。
論文参考訳（メタデータ） (2025-06-24T10:23:47Z)
WeatherEdit: Controllable Weather Editing with 4D Gaussian Field [5.240297013713328]
我々は3Dシーンで現実的な気象効果を生成するための新しい天気編集パイプラインであるWeatherEditを紹介する。我々のアプローチは、気象背景編集と気象粒子構築という2つの重要な要素で構成されている。複数の運転データセットの実験により、気象編集は制御可能な条件重大度で多様な気象効果を発生させることができることが示された。
論文参考訳（メタデータ） (2025-05-26T19:10:47Z)
Weather-Magician: Reconstruction and Rendering Framework for 4D Weather Synthesis In Real Time [28.860317925222954]
本研究では,ガウススプラッティングに基づくフレームワークを提案し,実際のシーンを再現し,合成した4次元気象条件下でレンダリングする。我々の研究は、継続的な動的気象変化をサポートし、その影響の詳細を容易に制御できる。
論文参考訳（メタデータ） (2025-05-26T12:44:53Z)
Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining [73.5575992346396]
本稿では,ビデオシーケンスにおけるストリーク除去を改善するために,2分岐時間状態空間モデルを提案する。マルチフレーム機能融合を改善するために,画素ワイド機能改善のための統計的フィルタを適応的に近似する動的フィルタ積層法を提案する。降雨環境における他の視覚に基づくタスクを支援する上でのデラミニングモデルの能力をさらに探求するため,我々は新しい実世界ベンチマークを導入する。
論文参考訳（メタデータ） (2025-05-22T15:50:00Z)
Removing Multiple Hybrid Adverse Weather in Video via a Unified Model [6.868658821057831]
我々はUniWRVと呼ばれる新しい統一モデルを提案し、オールインワン方式で複数の異種映像の天気劣化を除去する。我々のUniWRVは、複数の異種劣化学習シナリオにおいて、堅牢で優れた適応能力を示す。
論文参考訳（メタデータ） (2025-03-08T13:01:22Z)
SimVS: Simulating World Inconsistencies for Robust View Synthesis [102.83898965828621]
本稿では、生成ビデオモデルを利用して、キャプチャ中に起こりうる世界の不整合をシミュレートする手法を提案する。我々の世界シミュレーション戦略は、現実のシーンのバリエーションを扱う上で、従来の拡張手法よりも大幅に優れていることを実証する。
論文参考訳（メタデータ） (2024-12-10T17:35:12Z)
Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-09-05T04:55:40Z)
Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-12T14:21:30Z)
Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation [45.184188689391775]
ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
論文参考訳（メタデータ） (2023-09-24T17:13:55Z)
ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2023-05-03T13:24:06Z)
ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field [57.859851662796316]
シーンのNeRFモデルを用いて物理シミュレーションを融合する新しいNeRF編集手法について述べる。結果はSOTA 2D画像編集やSOTA 3D NeRFスタイリングよりもはるかにリアルである。
論文参考訳（メタデータ） (2022-11-23T18:59:13Z)
Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文参考訳（メタデータ） (2021-03-14T14:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。