論文の概要: RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2503.21442v1
- Date: Thu, 27 Mar 2025 12:35:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 12:51:23.715936
- Title: RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting
- Title（参考訳）: RainyGS: 物理的にベースとしたガウススプレイティングによる効率的な雨の合成
- Authors: Qiyu Dai, Xingyu Ni, Qianfan Shen, Wenzheng Chen, Baoquan Chen, Mengyu Chu,
- Abstract要約: オープンワールドシーンにおける動的降雨効果を物理的精度で生成する新しい手法であるRainyGSを紹介した。
提案手法の核となるのは,高速な3DGSレンダリングフレームワークにおいて,物理的雨滴と浅水シミュレーション技術の統合である。
本手法は,30fps以上の降雨効果の合成をサポートし,降雨強度を柔軟に制御する。
- 参考スコア（独自算出の注目度）: 28.60412760466588
- License:
- Abstract: We consider the problem of adding dynamic rain effects to in-the-wild scenes in a physically-correct manner. Recent advances in scene modeling have made significant progress, with NeRF and 3DGS techniques emerging as powerful tools for reconstructing complex scenes. However, while effective for novel view synthesis, these methods typically struggle with challenging scene editing tasks, such as physics-based rain simulation. In contrast, traditional physics-based simulations can generate realistic rain effects, such as raindrops and splashes, but they often rely on skilled artists to carefully set up high-fidelity scenes. This process lacks flexibility and scalability, limiting its applicability to broader, open-world environments. In this work, we introduce RainyGS, a novel approach that leverages the strengths of both physics-based modeling and 3DGS to generate photorealistic, dynamic rain effects in open-world scenes with physical accuracy. At the core of our method is the integration of physically-based raindrop and shallow water simulation techniques within the fast 3DGS rendering framework, enabling realistic and efficient simulations of raindrop behavior, splashes, and reflections. Our method supports synthesizing rain effects at over 30 fps, offering users flexible control over rain intensity -- from light drizzles to heavy downpours. We demonstrate that RainyGS performs effectively for both real-world outdoor scenes and large-scale driving scenarios, delivering more photorealistic and physically-accurate rain effects compared to state-of-the-art methods. Project page can be found at https://pku-vcl-geometry.github.io/RainyGS/
- Abstract（参考訳）: 本研究では,現場に動的降雨効果を加えることの問題点を物理的に正しく検討する。
シーンモデリングの最近の進歩は、複雑なシーンを再構築するための強力なツールとして、NeRFと3DGSの技術が登場し、大きな進歩を遂げている。
しかしながら、新しいビュー合成には有効であるが、これらの手法は典型的には、物理に基づく降雨シミュレーションのような困難なシーン編集タスクに苦しむ。
対照的に、伝統的な物理学に基づくシミュレーションは雨滴や水しぶきのような現実的な降雨効果を生み出すが、高い忠実さのシーンを慎重に設定するために熟練したアーティストに頼っていることが多い。
このプロセスには柔軟性とスケーラビリティがなく、より広いオープンワールド環境に適用性に制限されている。
本研究では,物理モデルと3DGSの両方の強みを生かして,オープンワールドシーンにおける光現実的でダイナミックな降雨効果を物理的精度で生成する手法であるRainyGSを紹介する。
本手法の核となるのは,高速な3DGSレンダリングフレームワーク内での降雨挙動,水しぶき,反射の現実的かつ効率的なシミュレーションを可能にする,物理的な雨滴と浅水シミュレーション技術の統合である。
われわれの方法は30fps以上の降雨効果の合成をサポートしており、雨の強度を柔軟に制御できる。
我々は、RainyGSが実際の屋外シーンと大規模運転シナリオの両方で効果的に機能し、最先端の手法と比較して、よりフォトリアリスティックで物理的に正確な降雨効果を提供することを示した。
プロジェクトページはhttps://pku-vcl-geometry.github.io/RainyGS/にある。
関連論文リスト
- DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments [4.86090922870914]
本研究では, 降雨環境における3次元再構築の課題について紹介する(3DRRE)。
このタスクをベンチマークするために、合成画像と実世界のシーン画像の両方の多様なコレクションからなるHydroViewsデータセットを構築した。
降雨環境の復元に適した3DGS法であるDeRainGSを提案する。
論文 参考訳（メタデータ） (2024-08-21T11:39:18Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining
and Object Detection in Rain [23.050711662981655]
本稿では,現実的な降雨画像を生成するための画像間翻訳フレームワークを提案する。
まず, 三角確率類似性制約を導入し, 判別器多様体の鮮明で雨の多い画像に向けて生成した画像を誘導する。
実験では、最小限のアーチファクトと歪みで現実的な雨の発生を実証し、雨中の画像の劣化と物体の検出に有効である。
論文 参考訳（メタデータ） (2023-11-01T17:08:26Z) - Distracting Downpour: Adversarial Weather Attacks for Motion Estimation [0.0]
本稿では、逆最適化された粒子を利用して気象効果を模倣する新たな動き推定手法を提案する。
我々の攻撃フレームワークの中核は、複数の時間ステップで粒子を一貫して統合する微分可能な粒子レンダリングシステムである。
我々は,運動推定に大きな影響を及ぼす逆向きの天候を得る。
論文 参考訳（メタデータ） (2023-05-11T10:52:00Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z) - ClimateNeRF: Extreme Weather Synthesis in Neural Radiance Field [57.859851662796316]
シーンのNeRFモデルを用いて物理シミュレーションを融合する新しいNeRF編集手法について述べる。
結果はSOTA 2D画像編集やSOTA 3D NeRFスタイリングよりもはるかにリアルである。
論文 参考訳（メタデータ） (2022-11-23T18:59:13Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - Rain rendering for evaluating and improving robustness to bad weather [20.43775471447035]
本稿では,一般的なコンピュータビジョンアルゴリズムを体系的に評価し,降雨量の制御を可能にする降雨パイプラインを提案する。
物理に基づく降雨増強は、物理粒子シミュレータと正確な雨光度モデリングを組み合わせたものである。
雨量増大したKITTI,Cityscapes,nuScenesのデータセットを用いて,オブジェクト検出,セマンティックセグメンテーション,深さ推定アルゴリズムの徹底的な評価を行う。
論文 参考訳（メタデータ） (2020-09-06T21:08:41Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。