論文の概要: Motion Matters: Compact Gaussian Streaming for Free-Viewpoint Video Reconstruction
- arxiv url: http://arxiv.org/abs/2505.16533v1
- Date: Thu, 22 May 2025 11:22:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:48.251743
- Title: Motion Matters: Compact Gaussian Streaming for Free-Viewpoint Video Reconstruction
- Title（参考訳）: Motion Matters: 自由視点ビデオ再構成のための小型ガウスストリーミング
- Authors: Jiacong Chen, Qingyu Mao, Youneng Bao, Xiandong Meng, Fanyang Meng, Ronggang Wang, Yongsheng Liang,
- Abstract要約: 3D Gaussian Splatting (3DGS)は、オンライン自由視点ビデオ(FVV)再構成のための高忠実で効率的なパラダイムとして登場した。
本研究では,動的シーンにおける動きの局所性と一貫性を活かした,コンパクトガウスストリーミング(ComGS)フレームワークを提案する。
ComGS は 3DGStream や 14X に比べて 159 X 以上のストレージ削減を実現している。
- 参考スコア（独自算出の注目度）: 57.76758872762516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has emerged as a high-fidelity and efficient paradigm for online free-viewpoint video (FVV) reconstruction, offering viewers rapid responsiveness and immersive experiences. However, existing online methods face challenge in prohibitive storage requirements primarily due to point-wise modeling that fails to exploit the motion properties. To address this limitation, we propose a novel Compact Gaussian Streaming (ComGS) framework, leveraging the locality and consistency of motion in dynamic scene, that models object-consistent Gaussian point motion through keypoint-driven motion representation. By transmitting only the keypoint attributes, this framework provides a more storage-efficient solution. Specifically, we first identify a sparse set of motion-sensitive keypoints localized within motion regions using a viewspace gradient difference strategy. Equipped with these keypoints, we propose an adaptive motion-driven mechanism that predicts a spatial influence field for propagating keypoint motion to neighboring Gaussian points with similar motion. Moreover, ComGS adopts an error-aware correction strategy for key frame reconstruction that selectively refines erroneous regions and mitigates error accumulation without unnecessary overhead. Overall, ComGS achieves a remarkable storage reduction of over 159 X compared to 3DGStream and 14 X compared to the SOTA method QUEEN, while maintaining competitive visual fidelity and rendering speed. Our code will be released.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、オンライン自由視点ビデオ(FVV)再構成のための高忠実で効率的なパラダイムとして登場し、視聴者の迅速な応答性と没入感を提供する。
しかし、既存のオンライン手法は、主にモーション特性の活用に失敗するポイントワイドモデリングのために、禁止ストレージ要件の課題に直面している。
この制限に対処するために、動的シーンにおける動きの局所性と一貫性を活用し、キーポイント駆動の動作表現によるオブジェクト一貫性ガウス点運動をモデル化する、新しいコンパクトガウスストリーミング(ComGS)フレームワークを提案する。
キーポイント属性のみを送信することで、このフレームワークはよりストレージ効率の良いソリューションを提供する。
具体的には、まず、ビュースペース勾配差戦略を用いて、動き領域内に局在した動きに敏感なキーポイントのスパースセットを同定する。
これらのキーポイントを組み込んだ適応的な動き駆動機構を提案し、類似した動きを持つ隣接するガウス点にキーポイントの動きを伝播する空間的影響場を予測する。
さらに、ComGSは、誤り領域を選択的に洗練し、不要なオーバーヘッドを伴わずにエラー蓄積を緩和するキーフレーム再構成の誤り認識補正戦略を採用する。
全体として、ComGSは3DGStreamと14XとSOTAのQUEENに比べて、159X以上のストレージ削減を実現し、競争力のある視覚的忠実さとレンダリング速度を維持している。
私たちのコードは解放されます。
関連論文リスト
- Steepest Descent Density Control for Compact 3D Gaussian Splatting [72.54055499344052]
3D Gaussian Splatting (3DGS)は、強力なリアルタイム高解像度ノベルビューとして登場した。
本稿では,3DGSの密度制御をデミストし,改良する理論的枠組みを提案する。
我々はSteepGSを導入し、コンパクトな点雲を維持しながら損失を最小限に抑える原則的戦略である、最も急な密度制御を取り入れた。
論文 参考訳（メタデータ） (2025-05-08T18:41:38Z) - 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video [56.04182926886754]
3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。
既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。
本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
論文 参考訳（メタデータ） (2025-03-24T08:05:27Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-11-25T08:23:38Z) - HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting [7.507657419706855]
本稿では,HiCoMと呼ばれる3つの重要なコンポーネントを持つ効率的なフレームワークを提案する。
まず、摂動平滑化戦略を用いて、コンパクトで頑健な初期3DGS表現を構築する。
次に、3次元ガウスの固有非一様分布と局所的一貫性を利用する階層的コヒーレント運動機構を導入する。
2つの広く利用されているデータセットを用いて行った実験により、我々のフレームワークは最先端の手法の学習効率を約20%向上することが示された。
論文 参考訳（メタデータ） (2024-11-12T04:40:27Z) - Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。
我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。
実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
論文 参考訳（メタデータ） (2024-06-05T21:02:10Z) - Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T04:36:13Z) - Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。
本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。
本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-04-19T19:44:24Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳（メタデータ） (2023-12-04T11:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。