論文の概要: MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2501.03714v1
• Date: Tue, 07 Jan 2025 11:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:49:27.516503
• Title: MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting
• Title（参考訳）: MoDec-GS:小型3次元ガウス平板のグローバル・ローカル動作分解と時間間隔調整
• Authors: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim,
• Abstract要約: MoDecGSは、複雑な動きを伴う挑戦的なシナリオにおいて、新しいビューを再構築するためのメモリ効率のよいフレームワークである。 MoDecGSは、現実のダイナミックビデオから動的3Dガウスのための最先端の手法よりも平均70%のモデルサイズ削減を実現している。
• 参考スコア（独自算出の注目度）: 23.98941743726612
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)はシーン表現とニューラルレンダリングにおいて大きな進歩を遂げており、ダイナミックなシーンに適応することに注力している。 レンダリングの質とスピードは素晴らしいが、既存の方法はストレージの需要と複雑な現実世界の動きを表現している。 これらの課題に対処するために,複雑な動きを伴うシナリオにおいて,新しいビューを再構築するためのメモリ効率の高いガウススプレイティングフレームワークであるMoDecGSを提案する。 我々はGlobaltoLocal Motion Decomposition (GLMD)を導入し、動的動きを粗い方法で効果的に捉える。 このアプローチはGlobal Canonical Scaffolds (Global CS)とLocal Canonical Scaffolds (Local CS)を活用し、静的なSaffold表現を動的ビデオ再構成に拡張する。 我々は,Global CSに対して,アンカー位置,オフセット,ローカルコンテキストの特徴である暗黙のScaffold属性を直接変形することにより,複雑な動きに沿ったグローバルダイナミクスを効率的に表現するグローバルアンカー変形(Global Anchor deformation, GAD)を提案する。 次に,局所CSの局所ガウス変形(LGD)を用いて局所運動を微調整する。 さらに、トレーニング中の各ローカルCSの時間的カバレッジを自動的に制御するために、TIA(Temporal Interval Adjustment)を導入する。 大規模な評価の結果,MoDecGSはレンダリング品質を維持したり改善したりしながら,実世界のダイナミックビデオから動的3Dガウスのための最先端手法よりも平均70%のモデルサイズ削減を実現している。

関連論文リスト

• Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
  3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。 本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering [39.02667348492635]
  3D Gaussian Splatting (3DGS)は、優れたレンダリング品質とリアルタイムスピードのために、研究者の注目を集めている。 動的シーンレンダリング(DN-4DGS)のための時間空間アグリゲーションを用いたDenoized Deformable Networkを提案する。 具体的には、標準3次元ガウスの座標の分布を変化させ、雑音を抑制するためにノイズ抑制戦略を導入する。
  論文  参考訳（メタデータ） (2024-10-17T14:43:07Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• D-MiSo: Editing Dynamic 3D Scenes using Multi-Gaussians Soup [0.0]
  そこで我々はD-MiSo(Dynamic Multi-Gaussian Soup)を提案する。 また,パラメータ化されたガウススプラットをリンクし,推定メッシュと三角スープを形成する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:01Z)
• SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
  我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。 我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。 我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
  論文  参考訳（メタデータ） (2023-12-20T03:54:03Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。