論文の概要: Deformable Gaussian Splatting for Efficient and High-Fidelity Reconstruction of Surgical Scenes

• arxiv url: http://arxiv.org/abs/2501.01101v1
• Date: Thu, 02 Jan 2025 06:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:13:49.234461
• Title: Deformable Gaussian Splatting for Efficient and High-Fidelity Reconstruction of Surgical Scenes
• Title（参考訳）: 変形性ガウススメッティングによる手術シーンの高精細化と高精細化
• Authors: Jiwei Shan, Zeyu Cai, Cheng-Tai Hsieh, Shing Shin Cheng, Hesheng Wang,
• Abstract要約: EH-SurGSは変形可能な手術シーンのための効率的かつ高忠実な再構成アルゴリズムである。 手術シーン内の静的領域と変形可能な領域を区別する適応的な動作階層戦略を提案する。
• 参考スコア（独自算出の注目度）: 11.151168064680444
• License:
• Abstract: Efficient and high-fidelity reconstruction of deformable surgical scenes is a critical yet challenging task. Building on recent advancements in 3D Gaussian splatting, current methods have seen significant improvements in both reconstruction quality and rendering speed. However, two major limitations remain: (1) difficulty in handling irreversible dynamic changes, such as tissue shearing, which are common in surgical scenes; and (2) the lack of hierarchical modeling for surgical scene deformation, which reduces rendering speed. To address these challenges, we introduce EH-SurGS, an efficient and high-fidelity reconstruction algorithm for deformable surgical scenes. We propose a deformation modeling approach that incorporates the life cycle of 3D Gaussians, effectively capturing both regular and irreversible deformations, thus enhancing reconstruction quality. Additionally, we present an adaptive motion hierarchy strategy that distinguishes between static and deformable regions within the surgical scene. This strategy reduces the number of 3D Gaussians passing through the deformation field, thereby improving rendering speed. Extensive experiments demonstrate that our method surpasses existing state-of-the-art approaches in both reconstruction quality and rendering speed. Ablation studies further validate the effectiveness and necessity of our proposed components. We will open-source our code upon acceptance of the paper.
• Abstract（参考訳）: 変形可能な手術シーンの効率的かつ高忠実な再構築は重要な課題である。 近年の3次元ガウシアンスプラッティングの進歩に基づき、現在の手法は復元品質とレンダリング速度の両方において大幅に改善されている。 しかし, 手術シーンに共通する組織せん断などの非可逆的動的変化に対する対処が困難であること, 手術シーンの変形に対する階層的モデリングが欠如していること, レンダリング速度が低下すること, の2つの大きな限界が残っている。 これらの課題に対処するために、変形可能な手術シーンのための効率的かつ高忠実な再構成アルゴリズムであるEH-SurGSを紹介する。 本稿では,3次元ガウスのライフサイクルを組み込んだ変形モデリング手法を提案する。 さらに,手術シーン内の静的な領域と変形可能な領域を区別する適応的な動作階層戦略を提案する。 この戦略により、変形場を通過する3Dガウスの数が減少し、レンダリング速度が向上する。 大規模な実験により,本手法は再現品質とレンダリング速度の両方において,既存の最先端手法を超越していることが示された。 アブレーション研究は,提案するコンポーネントの有効性と必要性をさらに検証する。 論文の受理後、コードをオープンソース化します。

関連論文リスト

• SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction [18.074890506856114]
  幾何学的精度を向上した手術シーン再構築のための動的3次元ガウススプレイティングフレームワークであるStagementGSを提案する。 提案手法は,まず奥行き先を用いてガウス点雲を初期化し,深度変化の大きい画素を識別するために二元運動マスクを用い,フレーム間の深度マップから点雲を融合して初期化する。 フレキシブル変形モデルを用いて動的シーンを表現し、教師なし深度スムースネス制約とともに正規化深度正規化損失を導入し、より正確な幾何再構成を実現する。
  論文  参考訳（メタデータ） (2024-10-11T22:46:46Z)
• Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
  ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。 手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。 手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T08:30:03Z)
• A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
  NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。 一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。 この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
  論文  参考訳（メタデータ） (2024-08-08T12:51:23Z)
• SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
  内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。 NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。 我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-06T09:31:30Z)
• HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
  ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。 NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。 3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。 本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:48:02Z)
• Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
  この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。 リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。 また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:14:57Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
  変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。 我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。 この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
  論文  参考訳（メタデータ） (2023-12-23T13:27:50Z)
• Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues [52.886545681833596]
  LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。 LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。 LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-31T14:38:35Z)
• NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction [95.37644907940857]
  我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。 NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。 本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
  論文  参考訳（メタデータ） (2022-12-10T07:19:43Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。