論文の概要: Real-Time Spatio-Temporal Reconstruction of Dynamic Endoscopic Scenes with 4D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.01218v1
• Date: Sat, 02 Nov 2024 11:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:03.882720
• Title: Real-Time Spatio-Temporal Reconstruction of Dynamic Endoscopic Scenes with 4D Gaussian Splatting
• Title（参考訳）: 4次元ガウススプラッティングによる動的内視鏡的シーンのリアルタイム時空間再構成
• Authors: Fengze Li, Jishuai He, Jieming Ma, Zhijing Wu,
• Abstract要約: 本稿では,動的内視鏡シーンのダイナミックスをモデル化する新しいフレームワークST-Endo4DGSを提案する。 このアプローチは、変形可能な組織の正確な表現を可能にし、空間的および時間的相関をリアルタイムでキャプチャする。
• 参考スコア（独自算出の注目度）: 1.7947477507955865
• License:
• Abstract: Dynamic scene reconstruction is essential in robotic minimally invasive surgery, providing crucial spatial information that enhances surgical precision and outcomes. However, existing methods struggle to address the complex, temporally dynamic nature of endoscopic scenes. This paper presents ST-Endo4DGS, a novel framework that models the spatio-temporal volume of dynamic endoscopic scenes using unbiased 4D Gaussian Splatting (4DGS) primitives, parameterized by anisotropic ellipses with flexible 4D rotations. This approach enables precise representation of deformable tissue dynamics, capturing intricate spatial and temporal correlations in real time. Additionally, we extend spherindrical harmonics to represent time-evolving appearance, achieving realistic adaptations to lighting and view changes. A new endoscopic normal alignment constraint (ENAC) further enhances geometric fidelity by aligning rendered normals with depth-derived geometry. Extensive evaluations show that ST-Endo4DGS outperforms existing methods in both visual quality and real-time performance, establishing a new state-of-the-art in dynamic scene reconstruction for endoscopic surgery.
• Abstract（参考訳）: ダイナミックシーンの再構築は、ロボットによる最小侵襲手術において不可欠であり、外科的精度と結果を高める重要な空間情報を提供する。 しかし、既存の手法は、内視鏡的シーンの複雑で時間的にダイナミックな性質に対処するのに苦労している。 本稿では,4DGSプリミティブを用いて動的内視鏡シーンの時空間体積をモデル化する新しいフレームワークST-Endo4DGSについて述べる。 このアプローチは、変形可能な組織動態の正確な表現を可能にし、複雑な空間的および時間的相関をリアルタイムでキャプチャする。 さらに,球面高調波を時間的変化を表すように拡張し,照明や視界の変化に対する現実的な適応を実現した。 新しい内視鏡的正規配向制約(ENAC)は、描画された正規と深度由来の幾何を整列させることにより、幾何学的忠実度をさらに高める。 広汎な評価の結果,ST-Endo4DGSは視覚的品質とリアルタイムパフォーマンスの両方において既存の手法よりも優れており,内視鏡手術における動的シーン再構築における新たな最先端技術が確立されている。

関連論文リスト

• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
  本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。 このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。 また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
  論文  参考訳（メタデータ） (2024-08-26T01:36:46Z)
• HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
  ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。 NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。 3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。 本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:48:02Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
  動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。 NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。 本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
  論文  参考訳（メタデータ） (2024-01-29T18:55:29Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting [8.078460597825142]
  2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。 本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。 我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
  論文  参考訳（メタデータ） (2023-10-16T17:57:43Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues [52.886545681833596]
  LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。 LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。 LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-31T14:38:35Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。