論文の概要: MGStream: Motion-aware 3D Gaussian for Streamable Dynamic Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2505.13839v1
- Date: Tue, 20 May 2025 02:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:52.600967
- Title: MGStream: Motion-aware 3D Gaussian for Streamable Dynamic Scene Reconstruction
- Title（参考訳）: MGStream: 動的シーン再構築のためのモーション対応3Dガウスアン
- Authors: Zhenyu Bao, Qing Li, Guibiao Liao, Zhongyuan Zhao, Kanglin Liu,
- Abstract要約: MGStreamはモーション関連の3Dガウス(3DG)を使用して、静的な動作のために動的およびバニラ3DGを再構築する。
MGStreamは、レンダリング品質、トレーニング/ストレージ効率、時間的一貫性の観点から、既存の3DGSベースのアプローチを超越している。
- 参考スコア（独自算出の注目度）: 8.220734719165698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has gained significant attention in streamable dynamic novel view synthesis (DNVS) for its photorealistic rendering capability and computational efficiency. Despite much progress in improving rendering quality and optimization strategies, 3DGS-based streamable dynamic scene reconstruction still suffers from flickering artifacts and storage inefficiency, and struggles to model the emerging objects. To tackle this, we introduce MGStream which employs the motion-related 3D Gaussians (3DGs) to reconstruct the dynamic and the vanilla 3DGs for the static. The motion-related 3DGs are implemented according to the motion mask and the clustering-based convex hull algorithm. The rigid deformation is applied to the motion-related 3DGs for modeling the dynamic, and the attention-based optimization on the motion-related 3DGs enables the reconstruction of the emerging objects. As the deformation and optimization are only conducted on the motion-related 3DGs, MGStream avoids flickering artifacts and improves the storage efficiency. Extensive experiments on real-world datasets N3DV and MeetRoom demonstrate that MGStream surpasses existing streaming 3DGS-based approaches in terms of rendering quality, training/storage efficiency and temporal consistency. Our code is available at: https://github.com/pcl3dv/MGStream.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、そのフォトリアリスティックレンダリング能力と計算効率において、ストリーム可能なダイナミックノベルビュー合成 (DNVS) において大きな注目を集めている。
レンダリングの品質と最適化戦略が大幅に進歩したにもかかわらず、3DGSベースのストリーム可能な動的シーン再構築は依然として、アーティファクトやストレージの非効率さに悩まされており、出現するオブジェクトをモデル化するのに苦労している。
これを解決するために,動作関連3Dガウス(3DG)を用いたMGStreamを導入し,静的な動作にバニラ3DGを再構成する。
動作関連3DGは、モーションマスクとクラスタリングに基づく凸殻アルゴリズムに基づいて実装される。
動的にモデリングするための運動関連3DGに剛性変形を適用し, 動き関連3DGの注意に基づく最適化により, 出現物体の復元が可能となる。
変形と最適化はモーション関連の3DGでのみ行われるため、MGStreamはフリッカリングアーティファクトを回避し、ストレージ効率を向上させる。
実世界のデータセットN3DVとMeetRoomに関する大規模な実験は、MGStreamが既存のストリーミング3DGSベースのアプローチを、レンダリング品質、トレーニング/ストレージ効率、時間的一貫性で上回っていることを示している。
私たちのコードは、https://github.com/pcl3dv/MGStream.comで利用可能です。
関連論文リスト
- 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video [56.04182926886754]
3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。
既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。
本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
論文 参考訳（メタデータ） (2025-03-24T08:05:27Z) - 3D Gaussian Splatting against Moving Objects for High-Fidelity Street Scene Reconstruction [1.2603104712715607]
本稿では,ダイナミックストリートシーン再構築のための新しい3次元ガウス点分布法を提案する。
提案手法では,高忠実度な静的シーンを保存しながらオブジェクトの移動を除去する。
実験により, 大規模動的環境における再現性の向上, レンダリング性能の向上, 適応性の向上が示された。
論文 参考訳（メタデータ） (2025-03-15T05:41:59Z) - SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video [26.468480933928458]
高品質な再構成とモノクロビデオからの高速レンダリングを実現するために,COLMAPフリーな動的3DガウススティングフレームワークであるSplineGSを提案する。
中心となるのは、連続的な動的3次元ガウス軌道を表す新しい動き適応スプライン(MAS)法である。
カメラパラメータ推定と3次元ガウス属性の同時最適化手法を提案する。
論文 参考訳（メタデータ） (2024-12-13T09:09:14Z) - Temporally Compressed 3D Gaussian Splatting for Dynamic Scenes [46.64784407920817]
時間圧縮3Dガウススティング(TC3DGS)は動的3Dガウス表現を圧縮する新しい技術である。
複数のデータセットにまたがる実験により、T3DGSは最大67$times$圧縮を実現し、視覚的品質の劣化を最小限に抑えることができた。
論文 参考訳（メタデータ） (2024-12-07T17:03:09Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-11-25T08:23:38Z) - MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳（メタデータ） (2024-10-10T08:19:47Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。