論文の概要: Free-DyGS: Camera-Pose-Free Scene Reconstruction for Dynamic Surgical Videos with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2409.01003v3
• Date: Mon, 28 Apr 2025 07:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.978247
• Title: Free-DyGS: Camera-Pose-Free Scene Reconstruction for Dynamic Surgical Videos with Gaussian Splatting
• Title（参考訳）: Free-DyGS:ガウススプレイティングによる動的手術ビデオのためのカメラ不要シーン再構成
• Authors: Qian Li, Shuojue Yang, Daiyun Shen, Jimmy Bok Yan So, Jing Qin, Yueming Jin,
• Abstract要約: 高速再構築のための新しいフレームワーク,textitFree-DyGSを提案する。 このフレームワークは、フレーム・バイ・フレーム・トレーニングスキーム全体にわたって全クリップ変形を保存するために、新しい振り返り変形再カプセル化(Retrospective deformation Recapitulation, RDR)戦略を備えている。
• 参考スコア（独自算出の注目度）: 17.0449317212827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-fidelity reconstruction of surgical scene is a fundamentally crucial task to support many applications, such as intra-operative navigation and surgical education. However, most existing methods assume the ideal surgical scenarios - either focus on dynamic reconstruction with deforming tissue yet assuming a given fixed camera pose, or allow endoscope movement yet reconstructing the static scenes. In this paper, we target at a more realistic yet challenging setup - free-pose reconstruction with a moving camera for highly dynamic surgical scenes. Meanwhile, we take the first step to introduce Gaussian Splitting (GS) technique to tackle this challenging setting and propose a novel GS-based framework for fast reconstruction, termed \textit{Free-DyGS}. Concretely, our model embraces a novel scene initialization in which a pre-trained Sparse Gaussian Regressor (SGR) can efficiently parameterize the initial attributes. For each subsequent frame, we propose to jointly optimize the deformation model and 6D camera poses in a frame-by-frame manner, easing training given the limited deformation differences between consecutive frames. A Scene Expansion scheme is followed to expand the GS model for the unseen regions introduced by the moving camera. Moreover, the framework is equipped with a novel Retrospective Deformation Recapitulation (RDR) strategy to preserve the entire-clip deformations throughout the frame-by-frame training scheme. The efficacy of the proposed Free-DyGS is substantiated through extensive experiments on two datasets: StereoMIS and Hamlyn datasets. The experimental outcomes underscore that Free-DyGS surpasses other advanced methods in both rendering accuracy and efficiency. Code will be available.
• Abstract（参考訳）: 手術シーンの高忠実度再構築は,術中ナビゲーションや外科教育など多くの応用を支援する上で,基本的に重要な課題である。 しかし、既存のほとんどの手法は理想的な手術シナリオを前提としており、特定の固定されたカメラのポーズを仮定しながら組織を変形させて動的に再構築することに焦点を当てるか、静的なシーンを再現しながら内視鏡の動きを許すかのどちらかである。 本稿では,より現実的かつ困難な設定である移動カメラを用いた自由空間再構築を,よりダイナミックな手術シーンに適用する。 一方,我々は,この課題に対処するため,ガウス分割(GS)技術を導入する第一歩を踏み出し,高速再構築のための新しいGSベースのフレームワークである「textit{Free-DyGS}」を提案する。 具体的には,SGR(Sparse Gaussian Regressor)が初期属性を効率的にパラメータ化できる新しいシーン初期化を提案する。 以降のフレーム毎に,連続フレーム間の変形差が限定された場合のトレーニングを緩和し,変形モデルと6次元カメラのポーズをフレーム単位で協調的に最適化することを提案する。 移動カメラによって導入された見えない領域のGSモデルを拡張するために、シーン拡張スキームが続く。 さらに、フレーム・バイ・フレーム・トレーニング・スキーム全体にわたって全クリップ変形を保存するために、新しい振り返り変形再カプセル化(RDR)戦略を備える。 提案されたFree-DyGSの有効性は,2つのデータセット – StereoMISとHamlynデータセット – で広範な実験を通じて実証されている。 実験結果は、Free-DyGSがレンダリング精度と効率の両面で他の先進的な手法を上回っていることを示している。 コードは利用可能です。

関連論文リスト

• Deformable Gaussian Splatting for Efficient and High-Fidelity Reconstruction of Surgical Scenes [11.151168064680444]
  EH-SurGSは変形可能な手術シーンのための効率的かつ高忠実な再構成アルゴリズムである。 手術シーン内の静的領域と変形可能な領域を区別する適応的な動作階層戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-02T06:50:25Z)
• Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
  本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。 本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。 提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image [11.391665055835249]
  Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。 現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。 本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
  論文  参考訳（メタデータ） (2024-11-19T12:52:37Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
  モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。 本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:11Z)
• DeblurGS: Gaussian Splatting for Camera Motion Blur [45.13521168573883]
  動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。 我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。 提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
  論文  参考訳（メタデータ） (2024-04-17T13:14:52Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields [5.773068487121897]
  内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。 我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。 本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
  論文  参考訳（メタデータ） (2023-09-27T00:20:36Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。