論文の概要: Gaussian Splatting Lucas-Kanade
- arxiv url: http://arxiv.org/abs/2407.11309v2
- Date: Thu, 27 Mar 2025 15:13:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 18:49:11.177085
- Title: Gaussian Splatting Lucas-Kanade
- Title(参考訳): Gaussian Splatting Lucas-Kanade
- Authors: Liuyue Xie, Joel Julin, Koichiro Niinuma, Laszlo A. Jeni,
- Abstract要約: 本稿では,古典ルーカスカナーデ法を動的ガウススプラッティングに適応させる新しい解析手法を提案する。
前方ワープフィールドネットワークの固有特性を活用することにより,時間積分により正確なシーンフロー計算を容易にする解析速度場を導出する。
提案手法は,合成シーンと実世界のシーンの両方で実証されたような,最小限のカメラモーションで高ダイナミックなシーンを再構築する上で優れている。
- 参考スコア(独自算出の注目度): 0.11249583407496218
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Gaussian Splatting and its dynamic extensions are effective for reconstructing 3D scenes from 2D images when there is significant camera movement to facilitate motion parallax and when scene objects remain relatively static. However, in many real-world scenarios, these conditions are not met. As a consequence, data-driven semantic and geometric priors have been favored as regularizers, despite their bias toward training data and their neglect of broader movement dynamics. Departing from this practice, we propose a novel analytical approach that adapts the classical Lucas-Kanade method to dynamic Gaussian splatting. By leveraging the intrinsic properties of the forward warp field network, we derive an analytical velocity field that, through time integration, facilitates accurate scene flow computation. This enables the precise enforcement of motion constraints on warp fields, thus constraining both 2D motion and 3D positions of the Gaussians. Our method excels in reconstructing highly dynamic scenes with minimal camera movement, as demonstrated through experiments on both synthetic and real-world scenes.
- Abstract(参考訳): ガウススメッティングとそのダイナミック拡張は、モーションパララックスを促進するためにカメラの動きが著しい場合や、シーンオブジェクトが比較的静止している場合の2次元画像から3次元シーンを再構成するのに有効である。
しかし、多くの現実のシナリオでは、これらの条件は満たされない。
その結果、トレーニングデータに対する偏見とより広範な運動力学の無視にもかかわらず、データ駆動のセマンティックおよび幾何学的先行は正規化要因として好まれている。
この実践とは別に、古典的なルーカス・カナーデ法を動的ガウススプラッティングに適応させる新しい分析手法を提案する。
前方ワープフィールドネットワークの固有特性を活用することにより,時間積分により正確なシーンフロー計算を容易にする解析速度場を導出する。
これにより、ワープフィールド上の運動制限の厳密な適用が可能となり、ガウスの2次元運動と3次元位置の両方が制約される。
提案手法は,合成シーンと実世界のシーンの両方で実証されたような,最小限のカメラモーションで高ダイナミックなシーンを再構築する上で優れている。
関連論文リスト
- Embracing Dynamics: Dynamics-aware 4D Gaussian Splatting SLAM [0.0]
D4DGS-SLAMは動的環境のための4DGSマップ表現に基づく最初のSLAMである。
時間次元をシーン表現に組み込むことで、D4DGS-SLAMは動的シーンの高品質な再構成を可能にする。
提案手法は,カメラのポーズトラッキングとマップの品質の両方において,最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-07T08:56:35Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-11-25T08:23:38Z) - GAST: Sequential Gaussian Avatars with Hierarchical Spatio-temporal Context [7.6736633105043515]
3D人間のアバターは、標準放射場とフレームごとの歪みを観察することで、高忠実なレンダリングとアニメーションを可能にします。
空間SMPL(-X)のポーズや時間埋め込みに依存する既存の手法は、それぞれ粗い品質や限られたアニメーションの柔軟性に悩まされている。
空間情報と時間情報の両方を階層的に統合することで、3DGSと3DGSを統合化するためのフレームワークであるGASTを提案する。
論文 参考訳(メタデータ) (2024-11-25T04:05:19Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-11-18T05:49:16Z) - MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳(メタデータ) (2024-10-10T08:19:47Z) - CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion-Blurred Images [14.738528284246545]
CRiM-GS は textbfContinuous textbfRigid textbfMotion-aware textbfGaussian textbfSplatting である。
リアルタイムレンダリング速度を維持しながら、モーションブルーの画像から正確な3Dシーンを再構築する。
論文 参考訳(メタデータ) (2024-07-04T13:37:04Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:07:39Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳(メタデータ) (2024-03-18T03:46:26Z) - 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。
4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。
さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
論文 参考訳(メタデータ) (2024-02-05T18:59:04Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳(メタデータ) (2023-12-18T18:59:03Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
論文 参考訳(メタデータ) (2023-11-30T13:53:50Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。