論文の概要: DP-DeGauss: Dynamic Probabilistic Gaussian Decomposition for Egocentric 4D Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2604.07986v1
- Date: Thu, 09 Apr 2026 08:55:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.812111
- Title: DP-DeGauss: Dynamic Probabilistic Gaussian Decomposition for Egocentric 4D Scene Reconstruction
- Title(参考訳): DP-DeGauss : エゴセントリック4次元シーン再構成のための動的確率ガウス分解法
- Authors: Tingxi Chen, Zhengxue Cheng, Houqiang Zhong, Su Wang, Rong Xie, Li Song,
- Abstract要約: 自己中心型4次元再構成のための動的確率ガウス分解フレームワークDP-DeGaussを紹介する。
提案手法は,COLMAP先行値から統一された3次元ガウス集合を初期化し,学習可能なカテゴリ確率で拡張し,それらを動的に特殊変形枝にルーティングする。
実験の結果、DP-DeGaussはPSNRのベースラインを+1.70dBで上回り、SSIMとLPIPSは上昇した。
- 参考スコア(独自算出の注目度): 23.80176859000243
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Egocentric video is crucial for next-generation 4D scene reconstruction, with applications in AR/VR and embodied AI. However, reconstructing dynamic first-person scenes is challenging due to complex ego-motion, occlusions, and hand-object interactions. Existing decomposition methods are ill-suited, assuming fixed viewpoints or merging dynamics into a single foreground. To address these limitations, we introduce DP-DeGauss, a dynamic probabilistic Gaussian decomposition framework for egocentric 4D reconstruction. Our method initializes a unified 3D Gaussian set from COLMAP priors, augments each with a learnable category probability, and dynamically routes them into specialized deformation branches for background, hands, or object modeling. We employ category-specific masks for better disentanglement and introduce brightness and motion-flow control to improve static rendering and dynamic reconstruction. Extensive experiments show that DP-DeGauss outperforms baselines by +1.70dB in PSNR on average with SSIM and LPIPS gains. More importantly, our framework achieves the first and state-of-the-art disentanglement of background, hand, and object components, enabling explicit, fine-grained separation, paving the way for more intuitive ego scene understanding and editing.
- Abstract(参考訳): Egocentric Videoは、AR/VRと組み込みAIに応用された、次世代の4Dシーン再構築に不可欠である。
しかし、複雑なエゴモーション、オクルージョン、手動物体の相互作用により、動的な一対一のシーンの再構築は困難である。
既存の分解方法は、固定された視点を仮定したり、ダイナミクスを1つの前景にマージするなど、不適当である。
これらの制約に対処するため,エゴセントリックな4次元再構成のための動的確率的ガウス分解フレームワークDP-DeGaussを導入する。
提案手法は,COLMAPの先行値から統一された3次元ガウス集合を初期化し,学習可能なカテゴリ確率で拡張し,背景,手,オブジェクトモデリングのための特殊な変形枝に動的にルーティングする。
そこで我々は, カテゴリ固有のマスクを用いて, ゆがみを良くし, 静的レンダリングと動的再構成を改善するために, 明るさとモーションフロー制御を導入する。
大規模な実験により、DP-DeGaussはPSNRのベースラインを平均で+1.70dBで上回り、SSIMとLPIPSは上昇した。
さらに重要なことは、我々のフレームワークは、背景、手、オブジェクトコンポーネントの最初の、そして最先端の切り離しを実現し、明示的できめ細かい分離を可能にし、より直感的なエゴシーンの理解と編集を可能にします。
関連論文リスト
- Tessellation GS: Neural Mesh Gaussians for Robust Monocular Reconstruction of Dynamic Objects [41.62908563782648]
3D Gaussian Splatting (GS) は、ポーズされた画像列から高度に写実的なシーン再構築を可能にするが、視点外挿に苦慮する。
本稿では,メッシュ面に固定された2次元GS構造を持つテッセルレーションGSを提案する。
本手法は,2次元ガウス関数を局所領域に制約し,メッシュ面上の階層的ニューラル特徴を通じてそれらの特性を推定する。
論文 参考訳(メタデータ) (2025-12-08T10:16:14Z) - 4D3R: Motion-Aware Neural Reconstruction and Rendering of Dynamic Scenes from Monocular Videos [52.89084603734664]
静的および動的コンポーネントを2段階のアプローチで分離する,ポーズフリーな動的ニューラルネットワークレンダリングフレームワークである4D3Rを提案する。
提案手法は最先端手法よりも最大1.8dBPSNRの改善を実現する。
論文 参考訳(メタデータ) (2025-11-07T13:25:50Z) - BulletGen: Improving 4D Reconstruction with Bullet-Time Generation [15.225127596594582]
BulletGenは、生成モデルを利用してエラーを訂正し、動的なシーン表現で行方不明情報を完成させるアプローチである。
提案手法は,静的および動的シーン成分と生成コンテンツをシームレスにブレンドし,新しいビュー合成と2D/3Dトラッキングの両タスクの最先端結果を実現する。
論文 参考訳(メタデータ) (2025-06-23T13:03:42Z) - UAV4D: Dynamic Neural Rendering of Human-Centric UAV Imagery using Gaussian Splatting [54.883935964137706]
UAV4Dは,UAVが捉えたダイナミックな現実世界のシーンに対して,フォトリアリスティックなレンダリングを可能にするフレームワークである。
我々は3次元基礎モデルと人間のメッシュ再構築モデルを組み合わせて、シーン背景と人間の両方を再構築する。
以上の結果から,新しい視点合成法に対するアプローチの利点が示され,1.5dBPSNRの改善と視覚的シャープネスの向上が達成された。
論文 参考訳(メタデータ) (2025-06-05T13:21:09Z) - UnIRe: Unsupervised Instance Decomposition for Dynamic Urban Scene Reconstruction [36.00679909382783]
シーンを静的な背景と個々の動的インスタンスに分解する3D Splatting (3DGS)ベースのアプローチであるUnIReを提案する。
中心となる4Dスーパーポイントは、多フレームLiDAR点を4D空間にクラスタ化する新しい表現である。
実験により,本手法は動的シーン再構成において,高精度かつ柔軟なインスタンスレベルの編集を可能にしながら,既存の手法よりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2025-04-01T13:15:58Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-11-25T08:23:38Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-11-18T05:49:16Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳(メタデータ) (2024-06-28T10:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。