論文の概要: Free-DyGS: Camera-Pose-Free Scene Reconstruction based on Gaussian Splatting for Dynamic Surgical Videos
- arxiv url: http://arxiv.org/abs/2409.01003v2
- Date: Wed, 9 Oct 2024 02:08:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 03:35:26.094831
- Title: Free-DyGS: Camera-Pose-Free Scene Reconstruction based on Gaussian Splatting for Dynamic Surgical Videos
- Title（参考訳）: Free-DyGS:動的手術ビデオのためのガウススプレイティングに基づくカメラ不要シーン再構成
- Authors: Qian Li, Shuojue Yang, Daiyun Shen, Yueming Jin,
- Abstract要約: 本稿では,ダイナミックな手術ビデオに適したカメラレスシーン再構築フレームワークであるFree-DyGSについて述べる。
提案手法では,フレーム・バイ・フレームの再構築戦略を採用し,4つの段階に展開する。
実験は、Free-DyGSが従来のベースラインモデルを超え、忠実度と計算効率の両方をレンダリングすることを示した。
- 参考スコア（独自算出の注目度）: 12.199333372665373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing endoscopic videos is crucial for high-fidelity visualization and the efficiency of surgical operations. Despite the importance, existing 3D reconstruction methods encounter several challenges, including stringent demands for accuracy, imprecise camera positioning, intricate dynamic scenes, and the necessity for rapid reconstruction. Addressing these issues, this paper presents the first camera-pose-free scene reconstruction framework, Free-DyGS, tailored for dynamic surgical videos, leveraging 3D Gaussian splatting technology. Our approach employs a frame-by-frame reconstruction strategy and is delineated into four distinct phases: Scene Initialization, Joint Learning, Scene Expansion, and Retrospective Learning. We introduce a Generalizable Gaussians Parameterization module within the Scene Initialization and Expansion phases to proficiently generate Gaussian attributes for each pixel from the RGBD frames. The Joint Learning phase is crafted to concurrently deduce scene deformation and camera pose, facilitated by an innovative flexible deformation module. In the scene expansion stage, the Gaussian points gradually grow as the camera moves. The Retrospective Learning phase is dedicated to enhancing the precision of scene deformation through the reassessment of prior frames. The efficacy of the proposed Free-DyGS is substantiated through experiments on two datasets: the StereoMIS and Hamlyn datasets. The experimental outcomes underscore that Free-DyGS surpasses conventional baseline models in both rendering fidelity and computational efficiency.
- Abstract（参考訳）: 内視鏡的ビデオの再構成は,高忠実度可視化と外科手術の効率化に不可欠である。
重要にもかかわらず、既存の3D再構成手法は、精度の厳しい要求、不正確なカメラ位置決め、複雑なダイナミックシーン、迅速な再構築の必要性など、いくつかの課題に直面している。
これらの課題に対処するために,3Dガウススプラッティング技術を活用し,ダイナミックな手術ビデオに適したカメラレスシーン再構築フレームワークであるFree-DyGSを提案する。
提案手法は,フレーム単位の再構築戦略を採用し,シーン初期化,共同学習,シーン拡張,レトロスペクティブ学習という4つの段階に分けられる。
本稿では,RGBDフレームから各画素のガウス属性を逐次生成するために,Scene Initialization と Expansion フェーズ内に一般化可能なガウスパラメータ化モジュールを導入する。
共同学習フェーズは、革新的なフレキシブルな変形モジュールによって促進されるシーン変形とカメラポーズを同時に推定する。
シーン拡大段階では、カメラが動くにつれてガウス点が徐々に大きくなる。
振り返り学習フェーズは、先行フレームの再評価を通じてシーン変形の精度を高めることを目的としている。
提案されたFree-DyGSの有効性は、StereoMISとHamlynデータセットという2つのデータセットの実験を通じて実証されている。
実験結果は、Free-DyGSが従来のベースラインモデルを超え、レンダリング忠実度と計算効率の両方を上回っていることを示している。
関連論文リスト
- SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image [11.391665055835249]
Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。
現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。
本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
論文 参考訳（メタデータ） (2024-11-19T12:52:37Z) - EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。
本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2024-06-13T17:59:11Z) - DeblurGS: Gaussian Splatting for Camera Motion Blur [45.13521168573883]
動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。
我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。
提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
論文 参考訳（メタデータ） (2024-04-17T13:14:52Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文 参考訳（メタデータ） (2024-03-15T09:47:35Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z) - Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。
我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。
第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
論文 参考訳（メタデータ） (2021-12-03T18:57:47Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。