論文の概要: WeatherEdit: Controllable Weather Editing with 4D Gaussian Field

• arxiv url: http://arxiv.org/abs/2505.20471v1
• Date: Mon, 26 May 2025 19:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.267075
• Title: WeatherEdit: Controllable Weather Editing with 4D Gaussian Field
• Title（参考訳）: 気象編集:4Dガウス場を用いた可制御型気象編集
• Authors: Chenghao Qian, Wenjing Li, Yuhu Guo, Gustav Markkula,
• Abstract要約: 我々は3Dシーンで現実的な気象効果を生成するための新しい天気編集パイプラインであるWeatherEditを紹介する。 我々のアプローチは、気象背景編集と気象粒子構築という2つの重要な要素で構成されている。 複数の運転データセットの実験により、気象編集は制御可能な条件重大度で多様な気象効果を発生させることができることが示された。
• 参考スコア（独自算出の注目度）: 5.240297013713328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present WeatherEdit, a novel weather editing pipeline for generating realistic weather effects with controllable types and severity in 3D scenes. Our approach is structured into two key components: weather background editing and weather particle construction. For weather background editing, we introduce an all-in-one adapter that integrates multiple weather styles into a single pretrained diffusion model, enabling the generation of diverse weather effects in 2D image backgrounds. During inference, we design a Temporal-View (TV-) attention mechanism that follows a specific order to aggregate temporal and spatial information, ensuring consistent editing across multi-frame and multi-view images. To construct the weather particles, we first reconstruct a 3D scene using the edited images and then introduce a dynamic 4D Gaussian field to generate snowflakes, raindrops and fog in the scene. The attributes and dynamics of these particles are precisely controlled through physical-based modelling and simulation, ensuring realistic weather representation and flexible severity adjustments. Finally, we integrate the 4D Gaussian field with the 3D scene to render consistent and highly realistic weather effects. Experiments on multiple driving datasets demonstrate that WeatherEdit can generate diverse weather effects with controllable condition severity, highlighting its potential for autonomous driving simulation in adverse weather. See project page: https://jumponthemoon.github.io/w-edit
• Abstract（参考訳）: 本研究では,3Dシーンにおける現実的な気象効果を制御可能なタイプと重大さで生成する,新しい天気編集パイプラインであるWeatherEditを紹介する。 我々のアプローチは、気象背景編集と気象粒子構築という2つの重要な要素で構成されている。 気象背景の編集には、複数の気象スタイルを1つの事前学習拡散モデルに統合したオールインワンアダプタを導入し、2次元画像背景に多様な気象効果を発生させる。 推測中、時間的・空間的な情報を収集する特定の順序に従う時間的視点(TV-)アテンション機構を設計し、多フレーム・マルチビュー画像間の一貫した編集を確実にする。 気象粒子を合成するために,まず編集画像を用いて3次元シーンを再構成し,さらに動的4次元ガウス場を導入し,積雪や雨滴,霧を発生させる。 これらの粒子の特性と力学は、物理的モデリングとシミュレーションによって正確に制御され、現実的な気象の表現とフレキシブルな重大度調整が保証される。 最後に,4次元ガウス場と3次元シーンを統合し,一貫した,高度に現実的な気象効果を演出する。 複数の運転データセットの実験では、気象編集が制御可能な状況の重大さで多様な気象効果を発生させることができることが示されており、悪天候下での自律運転シミュレーションの可能性を強調している。 プロジェクトページ https://jumponthemoon.github.io/w-edit

関連論文リスト

• Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
  WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
  論文  参考訳（メタデータ） (2025-05-01T17:59:57Z)
• WeatherGS: 3D Scene Reconstruction in Adverse Weather Conditions via Gaussian Splatting [5.240297013713328]
  WeatherGSは3DGSベースのフレームワークで、異なる気象条件下でのマルチビュー画像から鮮明なシーンを再構築する。 本研究では,高密度粒子を大気効果フィルタで逐次除去するプロセス前処理手法を提案する。 最後に,処理した画像を用いて3次元ガウスの集合を訓練し,隠蔽領域を除外するためのマスクを生成する。
  論文  参考訳（メタデータ） (2024-12-25T10:16:57Z)
• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• MonoWAD: Weather-Adaptive Diffusion Model for Robust Monocular 3D Object Detection [22.277210748714378]
  既存の手法は主に理想的な気象条件下での3D検出に重点を置いており、明瞭で最適な視界を持つシナリオが特徴である。 気象適応拡散モデルを用いた新規な気象ロバストなモノクロ3D物体検出器MonoWADを紹介する。 様々な気象条件下での実験では、MonoWADは天候に乱れたモノクロ3D物体の検出を達成している。
  論文  参考訳（メタデータ） (2024-07-23T12:58:49Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field [57.859851662796316]
  シーンのNeRFモデルを用いて物理シミュレーションを融合する新しいNeRF編集手法について述べる。 結果はSOTA 2D画像編集やSOTA 3D NeRFスタイリングよりもはるかにリアルである。
  論文  参考訳（メタデータ） (2022-11-23T18:59:13Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。