論文の概要: 3D Scene Rendering with Multimodal Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2602.17124v1
- Date: Thu, 19 Feb 2026 06:49:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:28.79734
- Title: 3D Scene Rendering with Multimodal Gaussian Splatting
- Title（参考訳）: マルチモーダルガウススプレイティングによる3次元シーンレンダリング
- Authors: Chi-Shiang Gau, Konstantinos D. Polyzos, Athanasios Bacharis, Saketh Madhuvarasu, Tara Javidi,
- Abstract要約: 3Dシーンの再構築とレンダリングはコンピュータビジョンの中核的なタスクであり、産業監視、ロボット工学、自動運転といった用途にまたがる。
近年の3Dガウススプラッティングは、高い計算効率とメモリ効率を維持しながら、印象的なレンダリング忠実性を実現している。
我々は、自動車レーダーのようなRFセンシングとGSベースのレンダリングを、視覚のみのGSレンダリングのより効率的で堅牢な代替手段として統合するマルチモーダルフレームワークを導入する。
- 参考スコア（独自算出の注目度）: 7.646123713331197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D scene reconstruction and rendering are core tasks in computer vision, with applications spanning industrial monitoring, robotics, and autonomous driving. Recent advances in 3D Gaussian Splatting (GS) and its variants have achieved impressive rendering fidelity while maintaining high computational and memory efficiency. However, conventional vision-based GS pipelines typically rely on a sufficient number of camera views to initialize the Gaussian primitives and train their parameters, typically incurring additional processing cost during initialization while falling short in conditions where visual cues are unreliable, such as adverse weather, low illumination, or partial occlusions. To cope with these challenges, and motivated by the robustness of radio-frequency (RF) signals to weather, lighting, and occlusions, we introduce a multimodal framework that integrates RF sensing, such as automotive radar, with GS-based rendering as a more efficient and robust alternative to vision-only GS rendering. The proposed approach enables efficient depth prediction from only sparse RF-based depth measurements, yielding a high-quality 3D point cloud for initializing Gaussian functions across diverse GS architectures. Numerical tests demonstrate the merits of judiciously incorporating RF sensing into GS pipelines, achieving high-fidelity 3D scene rendering driven by RF-informed structural accuracy.
- Abstract（参考訳）: 3Dシーンの再構築とレンダリングはコンピュータビジョンの中核的なタスクであり、産業監視、ロボット工学、自動運転といった用途にまたがる。
近年の3Dガウススプラッティング(GS)とその変種は、高い計算効率とメモリ効率を維持しながら、印象的なレンダリング忠実性を実現している。
しかし、従来の視覚ベースのGSパイプラインは、一般的にガウス原始体を初期化し、それらのパラメータを訓練するために、十分な数のカメラビューに依存しており、一般的には初期化時に追加の処理コストを発生させ、悪天候、低照度、部分閉塞などの視覚的手がかりが信頼できない状況では低下する。
これらの課題に対処し、気象、照明、閉塞に対する高周波信号の堅牢性によって動機づけられた上で、カーレーダなどのRFセンシングとGSベースのレンダリングを、視覚のみのGSレンダリングのより効率的で堅牢な代替手段として統合するマルチモーダルフレームワークを導入する。
提案手法により, 粗いRF線深度測定のみから効率的な深度予測が可能となり, 多様なGSアーキテクチャでガウス関数を初期化するための高品質な3次元点雲が得られる。
数値実験により, RFセンサをGSパイプラインに組み込むことにより, RFインフォームド構造精度で高忠実度3Dシーンレンダリングを実現することができた。
関連論文リスト
- PointGS: Point Attention-Aware Sparse View Synthesis with Gaussian Splatting [4.451779041553596]
3D Gaussian splatting (3DGS) は、レンダリング速度と視覚品質の両方において、ニューラル放射場(NeRF)を超える革新的なレンダリング技術である。
本稿では,スパーストレーニングビューからリアルタイムかつ高品質なレンダリングを可能にするポイントワイズ特徴認識型ガウス分割フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-12T04:07:07Z) - EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - GlossGau: Efficient Inverse Rendering for Glossy Surface with Anisotropic Spherical Gaussian [4.5442067197725]
GlossGauは、バニラ3D-GSに匹敵するトレーニングとレンダリング速度を維持しながら、光沢のある表面でシーンを再構築する効率的な逆レンダリングフレームワークである。
実験によりGrossGauは、光沢のある表面を持つデータセット上で、競争力や優れた再構築を実現することが示された。
論文 参考訳（メタデータ） (2025-02-19T22:20:57Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T11:59:54Z) - Optimizing 3D Gaussian Splatting for Sparse Viewpoint Scene Reconstruction [11.840097269724792]
3D Gaussian Splatting (3DGS)は3Dシーン表現の有望なアプローチとして登場し、Neural Radiance Fields (NeRF)と比較して計算オーバーヘッドの低減を実現している。
SVS-GSは,3次元ガウス平滑化フィルタを統合して人工物を抑制する,スパースビューポイントシーン再構築のための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-09-05T03:18:04Z) - Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。
複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。
また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文 参考訳（メタデータ） (2024-06-05T06:06:03Z) - HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
論文 参考訳（メタデータ） (2024-03-29T07:58:21Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。