論文の概要: MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2501.03714v3
- Date: Mon, 24 Mar 2025 07:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:29:57.599432
- Title: MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting
- Title（参考訳）: MoDec-GS:小型3次元ガウス平板のグローバル・ローカル動作分解と時間間隔調整
- Authors: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim,
- Abstract要約: MoDecGSは、複雑な動きを伴う挑戦的なシナリオにおいて、新しいビューを再構築するためのメモリ効率のよいフレームワークである。
MoDecGSは、現実のダイナミックビデオから動的3Dガウスのための最先端の手法よりも平均70%のモデルサイズ削減を実現している。
- 参考スコア（独自算出の注目度）: 23.98941743726612
- License:
- Abstract: 3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)はシーン表現とニューラルレンダリングにおいて大きな進歩を遂げており、ダイナミックなシーンに適応することに注力している。
レンダリングの質とスピードは素晴らしいが、既存の方法はストレージの需要と複雑な現実世界の動きを表現している。
これらの課題に対処するために,複雑な動きを伴うシナリオにおいて,新しいビューを再構築するためのメモリ効率の高いガウススプレイティングフレームワークであるMoDecGSを提案する。
我々はGlobaltoLocal Motion Decomposition (GLMD)を導入し、動的動きを粗い方法で効果的に捉える。
このアプローチはGlobal Canonical Scaffolds (Global CS)とLocal Canonical Scaffolds (Local CS)を活用し、静的なSaffold表現を動的ビデオ再構成に拡張する。
我々は,Global CSに対して,アンカー位置,オフセット,ローカルコンテキストの特徴である暗黙のScaffold属性を直接変形することにより,複雑な動きに沿ったグローバルダイナミクスを効率的に表現するグローバルアンカー変形(Global Anchor deformation, GAD)を提案する。
次に,局所CSの局所ガウス変形(LGD)を用いて局所運動を微調整する。
さらに、トレーニング中の各ローカルCSの時間的カバレッジを自動的に制御するために、TIA(Temporal Interval Adjustment)を導入する。
大規模な評価の結果,MoDecGSはレンダリング品質を維持したり改善したりしながら,実世界のダイナミックビデオから動的3Dガウスのための最先端手法よりも平均70%のモデルサイズ削減を実現している。
関連論文リスト
- Seeing World Dynamics in a Nutshell [132.79736435144403]
NutWorldはモノクロ動画をダイナミックな3D表現に変換するフレームワークである。
我々は,NutWorldがリアルタイムにダウンストリームアプリケーションを実現しつつ,高忠実度ビデオ再構成品質を実現することを実証した。
論文 参考訳（メタデータ） (2025-02-05T18:59:52Z) - 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes [19.24815625343669]
SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。
時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。
我々の手法は最先端の性能を実証した。
論文 参考訳（メタデータ） (2024-12-09T08:44:19Z) - Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。
我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。
実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
論文 参考訳（メタデータ） (2024-12-04T16:59:49Z) - Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。
本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-25T08:23:38Z) - DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering [39.02667348492635]
3D Gaussian Splatting (3DGS)は、優れたレンダリング品質とリアルタイムスピードのために、研究者の注目を集めている。
動的シーンレンダリング(DN-4DGS)のための時間空間アグリゲーションを用いたDenoized Deformable Networkを提案する。
具体的には、標準3次元ガウスの座標の分布を変化させ、雑音を抑制するためにノイズ抑制戦略を導入する。
論文 参考訳（メタデータ） (2024-10-17T14:43:07Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳（メタデータ） (2023-12-20T03:54:03Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳（メタデータ） (2023-12-04T11:57:14Z) - Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
論文 参考訳（メタデータ） (2023-11-30T13:53:50Z) - Global-to-Local Modeling for Video-based 3D Human Pose and Shape
Estimation [53.04781510348416]
フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。
エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。
我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
論文 参考訳（メタデータ） (2023-03-26T14:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。