Fugu-MT 論文翻訳(概要): RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting

論文の概要: RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting

arxiv url: http://arxiv.org/abs/2503.21442v1
Date: Thu, 27 Mar 2025 12:35:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-28 18:49:11.514533
Title: RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting
Title（参考訳）: RainyGS: 物理的にベースとしたガウススプレイティングによる効率的な雨の合成
Authors: Qiyu Dai, Xingyu Ni, Qianfan Shen, Wenzheng Chen, Baoquan Chen, Mengyu Chu,
Abstract要約: オープンワールドシーンにおける動的降雨効果を物理的精度で生成する新しい手法であるRainyGSを紹介した。提案手法の核となるのは,高速な3DGSレンダリングフレームワークにおいて,物理的雨滴と浅水シミュレーション技術の統合である。本手法は,30fps以上の降雨効果の合成をサポートし,降雨強度を柔軟に制御する。
参考スコア（独自算出の注目度）: 28.60412760466588
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the problem of adding dynamic rain effects to in-the-wild scenes in a physically-correct manner. Recent advances in scene modeling have made significant progress, with NeRF and 3DGS techniques emerging as powerful tools for reconstructing complex scenes. However, while effective for novel view synthesis, these methods typically struggle with challenging scene editing tasks, such as physics-based rain simulation. In contrast, traditional physics-based simulations can generate realistic rain effects, such as raindrops and splashes, but they often rely on skilled artists to carefully set up high-fidelity scenes. This process lacks flexibility and scalability, limiting its applicability to broader, open-world environments. In this work, we introduce RainyGS, a novel approach that leverages the strengths of both physics-based modeling and 3DGS to generate photorealistic, dynamic rain effects in open-world scenes with physical accuracy. At the core of our method is the integration of physically-based raindrop and shallow water simulation techniques within the fast 3DGS rendering framework, enabling realistic and efficient simulations of raindrop behavior, splashes, and reflections. Our method supports synthesizing rain effects at over 30 fps, offering users flexible control over rain intensity -- from light drizzles to heavy downpours. We demonstrate that RainyGS performs effectively for both real-world outdoor scenes and large-scale driving scenarios, delivering more photorealistic and physically-accurate rain effects compared to state-of-the-art methods. Project page can be found at https://pku-vcl-geometry.github.io/RainyGS/
Abstract（参考訳）: 本研究では,現場に動的降雨効果を加えることの問題点を物理的に正しく検討する。シーンモデリングの最近の進歩は、複雑なシーンを再構築するための強力なツールとして、NeRFと3DGSの技術が登場し、大きな進歩を遂げている。しかしながら、新しいビュー合成には有効であるが、これらの手法は典型的には、物理に基づく降雨シミュレーションのような困難なシーン編集タスクに苦しむ。対照的に、伝統的な物理学に基づくシミュレーションは雨滴や水しぶきのような現実的な降雨効果を生み出すが、高い忠実さのシーンを慎重に設定するために熟練したアーティストに頼っていることが多い。このプロセスには柔軟性とスケーラビリティがなく、より広いオープンワールド環境に適用性に制限されている。本研究では,物理モデルと3DGSの両方の強みを生かして,オープンワールドシーンにおける光現実的でダイナミックな降雨効果を物理的精度で生成する手法であるRainyGSを紹介する。本手法の核となるのは,高速な3DGSレンダリングフレームワーク内での降雨挙動,水しぶき,反射の現実的かつ効率的なシミュレーションを可能にする,物理的な雨滴と浅水シミュレーション技術の統合である。われわれの方法は30fps以上の降雨効果の合成をサポートしており、雨の強度を柔軟に制御できる。我々は、RainyGSが実際の屋外シーンと大規模運転シナリオの両方で効果的に機能し、最先端の手法と比較して、よりフォトリアリスティックで物理的に正確な降雨効果を提供することを示した。プロジェクトページはhttps://pku-vcl-geometry.github.io/RainyGS/にある。

関連論文リスト

Weather-Magician: Reconstruction and Rendering Framework for 4D Weather Synthesis In Real Time [28.860317925222954]
本研究では,ガウススプラッティングに基づくフレームワークを提案し,実際のシーンを再現し,合成した4次元気象条件下でレンダリングする。我々の研究は、継続的な動的気象変化をサポートし、その影響の詳細を容易に制御できる。
論文参考訳（メタデータ） (2025-05-26T12:44:53Z)
Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining [73.5575992346396]
本稿では,ビデオシーケンスにおけるストリーク除去を改善するために,2分岐時間状態空間モデルを提案する。マルチフレーム機能融合を改善するために,画素ワイド機能改善のための統計的フィルタを適応的に近似する動的フィルタ積層法を提案する。降雨環境における他の視覚に基づくタスクを支援する上でのデラミニングモデルの能力をさらに探求するため,我々は新しい実世界ベンチマークを導入する。
論文参考訳（メタデータ） (2025-05-22T15:50:00Z)
Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
論文参考訳（メタデータ） (2025-05-01T17:59:57Z)
Let it Snow! Animating Static Gaussian Scenes With Dynamic Weather Effects [25.126055173812187]
3D Gaussian Splattingは、最近、静的な3Dシーンの高速かつ光リアルな再構築を可能にした。本稿では,物理量に基づく地球規模の気象効果を静的な場面に組み込むために,ガウス粒子表現を組み合わせた新しい枠組みを提案する。我々のアプローチは、降雪、降雨、霧、砂嵐など様々な気象効果をサポートし、また、落下物も支援できる。
論文参考訳（メタデータ） (2025-04-07T17:51:21Z)
SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams [49.34425133546994]
雨の映像から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。本研究では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。
論文参考訳（メタデータ） (2025-03-26T08:28:28Z)
ClimateGS: Real-Time Climate Simulation with 3D Gaussian Style Transfer [11.17376076195671]
ClimateGSは3Dガウス表現と物理シミュレーションを統合した新しいフレームワークで、リアルタイムな気候効果のレンダリングを可能にする。我々は、MipNeRF360とTurps and TemplesのClimateGSを評価し、SOTA 2D/3D法と同等または優れた視覚的品質のリアルタイムレンダリングを実演した。
論文参考訳（メタデータ） (2025-03-19T03:01:35Z)
Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation [8.83009075528098]
極度の気象条件、特に極度の降雨は、現実世界の設定で捉えるのに稀で費用がかかる。既存の雨のイメージシンセサイザーは、照明と制限されたリアリズムに対して制御性に欠けることが多い。本稿では,レンダリングに基づく手法の利点と学習に基づく手法の制御性を組み合わせた,レンダリングからの学習型降雨画像合成器を提案する。
論文参考訳（メタデータ） (2025-02-23T03:28:50Z)
DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments [4.86090922870914]
本研究では, 降雨環境における3次元再構築の課題について紹介する(3DRRE)。このタスクをベンチマークするために、合成画像と実世界のシーン画像の両方の多様なコレクションからなるHydroViewsデータセットを構築した。降雨環境の復元に適した3DGS法であるDeRainGSを提案する。
論文参考訳（メタデータ） (2024-08-21T11:39:18Z)
Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文参考訳（メタデータ） (2023-03-23T00:15:34Z)
ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field [57.859851662796316]
シーンのNeRFモデルを用いて物理シミュレーションを融合する新しいNeRF編集手法について述べる。結果はSOTA 2D画像編集やSOTA 3D NeRFスタイリングよりもはるかにリアルである。
論文参考訳（メタデータ） (2022-11-23T18:59:13Z)
Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文参考訳（メタデータ） (2021-03-14T14:28:57Z)
Rain rendering for evaluating and improving robustness to bad weather [20.43775471447035]
本稿では,一般的なコンピュータビジョンアルゴリズムを体系的に評価し,降雨量の制御を可能にする降雨パイプラインを提案する。物理に基づく降雨増強は、物理粒子シミュレータと正確な雨光度モデリングを組み合わせたものである。雨量増大したKITTI,Cityscapes,nuScenesのデータセットを用いて,オブジェクト検出,セマンティックセグメンテーション,深さ推定アルゴリズムの徹底的な評価を行う。
論文参考訳（メタデータ） (2020-09-06T21:08:41Z)
From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文参考訳（メタデータ） (2020-08-08T18:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。