論文の概要: Semantic-Aware, Physics-Informed, Geometry-Grounded Weather Video Synthesis

• arxiv url: http://arxiv.org/abs/2606.29020v1
• Date: Sat, 27 Jun 2026 17:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.76076
• Title: Semantic-Aware, Physics-Informed, Geometry-Grounded Weather Video Synthesis
• Title（参考訳）: セマンティック・アウェア・物理・インフォームド・ジオメトリー・グラウンド・ウェザービデオ合成
• Authors: Chenghao Qian, Nedko Savov, Lingdong Kong, Yeying Jin, Rui Song, Wenjing Li, Zhun Zhong, Jiaqi Ma, Gustav Markkula, Luc Van Gool,
• Abstract要約: 天気合成は、シーンのアイデンティティ、構造、動きを保存しながら、入力ビデオに気象効果を加えることを目的としている。 ほとんどのアプローチはテキストプロンプトに依存しており、本質的に不特定であり、しばしば詳細な気象特性を生成できない。 本稿では,多種多様なグローバルな外見と詳細な粒子動力学を合成するために,既製のビデオエディタを利用するセマンティック・アウェア,物理インフォームド,ジオメトリ・グラウンドフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 81.61856788730198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weather synthesis aims to add weather effects to input videos while preserving scene identity, structure, and motion. The key limitation of existing methods is the lack of diversity in weather appearance and effective control over weather dynamics (e.g., temporal evolution and particle motion). Most approaches rely on text prompts, which are inherently underspecified and often fail to produce detailed weather characteristics. Additionally, general-purpose video editors optimized for clean and aesthetic outputs tend to suppress heavy weather phenomena, making dense particle effects difficult to generate. To address these, we propose a Semantic-Aware, Physics-Informed, and Geometry-Grounded framework that steers an off-the-shelf video editor to synthesize diverse global appearances and detailed particle dynamics. We factorize the synthesis into three conditional signals, so that each provides a distinct and stable source of guidance: semantics specifies what the weather should look like, dynamics governs how it evolves over time, and geometry determines where it should appear in the scene. Specifically, we introduce (1) semantic-aware appearance anchoring to establish the target appearance from scene semantics and user input; (2) physics-informed dynamic simulation to generate particle effects by simulating a Gaussian-represented particle field under gravity, wind, and turbulence; and (3) geometry-grounded video synthesis to align the simulated particles with target scene geometry and synthesize the final video. Experiments demonstrate that our method produces diverse, physically and visually realistic weather effects. Furthermore, we show that our synthesized data significantly improves the robustness of autonomous driving semantic segmentation under adverse weather conditions. Project page: https://jumponthemoon.github.io/w-crafter/.
• Abstract（参考訳）: 天気合成は、シーンのアイデンティティ、構造、動きを保存しながら、入力ビデオに気象効果を加えることを目的としている。 既存の手法の鍵となる制限は、天気の外観の多様性の欠如と気象力学(例えば、時間的進化と粒子運動)の効果的な制御である。 ほとんどのアプローチはテキストプロンプトに依存しており、本質的に不特定であり、しばしば詳細な気象特性を生成できない。 さらに、クリーンで美的な出力に最適化された汎用ビデオエディタは、重い気象現象を抑える傾向があり、高密度な粒子効果を生成するのが困難である。 これらの問題に対処するために,多種多様なグローバルな外観と詳細な粒子動力学を合成するために,市販のビデオエディタを操縦するセマンティック・アウェア,物理インフォームド,ジオメトリ・グラウンド・フレームワークを提案する。 セマンティクスは天気がどのように見えるかを定義し、ダイナミクスは時間とともにどのように進化するかを制御し、幾何学はシーンに現れるべき場所を決定する。 具体的には,(1)シーンのセマンティクスとユーザ入力からターゲットの外観を確立するためのセマンティック・アウェアな外観アンカリング,(2)重力,風,乱流下でのガウス表現粒子場をシミュレートして粒子効果を生成する物理インフォームド・ダイナミック・シミュレーション,(3)シミュレーションされた粒子をターゲットのシーン幾何と整合させて最終映像を合成する幾何学的グラウンドビデオ合成を紹介する。 実験により,本手法は多様な,物理的,視覚的に現実的な気象効果をもたらすことが示された。 さらに, 環境条件下での自律運転セマンティックセグメンテーションのロバスト性も向上することを示した。 プロジェクトページ: https://jumponthemoon.github.io/w-crafter/。

関連論文リスト

• Physical Simulator In-the-Loop Video Generation [96.87054314612142]
  Physical Simulator In-the-loop Video Generation (PSIVG)は、物理シミュレータをビデオ拡散プロセスに統合する新しいフレームワークである。 PSIVGは、視覚的品質と多様性を保ちながら、現実世界の物理に忠実なビデオを制作する。
  論文  参考訳（メタデータ） (2026-03-06T15:48:25Z)
• What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
  一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。 我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。 このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T21:03:56Z)
• WeatherEdit: Controllable Weather Editing with 4D Gaussian Field [5.240297013713328]
  我々は3Dシーンで現実的な気象効果を生成するための新しい天気編集パイプラインであるWeatherEditを紹介する。 我々のアプローチは、気象背景編集と気象粒子構築という2つの重要な要素で構成されている。 複数の運転データセットの実験により、気象編集は制御可能な条件重大度で多様な気象効果を発生させることができることが示された。
  論文  参考訳（メタデータ） (2025-05-26T19:10:47Z)
• Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
  WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
  論文  参考訳（メタデータ） (2025-05-01T17:59:57Z)
• Let it Snow! Animating Static Gaussian Scenes With Dynamic Weather Effects [25.126055173812187]
  3D Gaussian Splattingは、最近、静的な3Dシーンの高速かつ光リアルな再構築を可能にした。 本稿では,物理量に基づく地球規模の気象効果を静的な場面に組み込むために,ガウス粒子表現を組み合わせた新しい枠組みを提案する。 我々のアプローチは、降雪、降雨、霧、砂嵐など様々な気象効果をサポートし、また、落下物も支援できる。
  論文  参考訳（メタデータ） (2025-04-07T17:51:21Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。