論文の概要: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2503.06161v1
- Date: Sat, 08 Mar 2025 10:50:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:51:58.259638
- Title: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction
- Title（参考訳）: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in surgery deformable Scene Reconstruction (特集:平成20年度日本造形学会大会)
- Authors: Kai Li, Junhao Wang, William Han, Ding Zhao,
- Abstract要約: 3DGSの拡張であるFeature-EndoGaussian (FEG)を導入し、2Dセグメンテーションキューを3Dレンダリングに統合し、リアルタイムなセマンティックとシーン再構築を実現する。
FEGは先行法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
- 参考スコア（独自算出の注目度）: 26.358467072736524
- License:
- Abstract: Minimally invasive surgery (MIS) has transformed clinical practice by reducing recovery times, minimizing complications, and enhancing precision. Nonetheless, MIS inherently relies on indirect visualization and precise instrument control, posing unique challenges. Recent advances in artificial intelligence have enabled real-time surgical scene understanding through techniques such as image classification, object detection, and segmentation, with scene reconstruction emerging as a key element for enhanced intraoperative guidance. Although neural radiance fields (NeRFs) have been explored for this purpose, their substantial data requirements and slow rendering inhibit real-time performance. In contrast, 3D Gaussian Splatting (3DGS) offers a more efficient alternative, achieving state-of-the-art performance in dynamic surgical scene reconstruction. In this work, we introduce Feature-EndoGaussian (FEG), an extension of 3DGS that integrates 2D segmentation cues into 3D rendering to enable real-time semantic and scene reconstruction. By leveraging pretrained segmentation foundation models, FEG incorporates semantic feature distillation within the Gaussian deformation framework, thereby enhancing both reconstruction fidelity and segmentation accuracy. On the EndoNeRF dataset, FEG achieves superior performance (SSIM of 0.97, PSNR of 39.08, and LPIPS of 0.03) compared to leading methods. Additionally, on the EndoVis18 dataset, FEG demonstrates competitive class-wise segmentation metrics while balancing model size and real-time performance.
- Abstract（参考訳）: 最小侵襲手術 (MIS) は, 回復時間短縮, 合併症の最小化, 精度の向上により, 臨床実践に変化をもたらした。
しかし、MISは本質的に間接的な可視化と精密な機器制御に依存しており、固有の課題を提起している。
近年の人工知能の進歩により、画像分類、物体検出、セグメンテーションといった技術により、リアルタイムの外科的シーン理解が可能となり、シーン再構築が術中指導の強化の鍵となる。
この目的のためにニューラルレイディアンス場(NeRF)が研究されているが、そのデータ要求とレンダリングの遅さによりリアルタイムのパフォーマンスが阻害されている。
対照的に、3D Gaussian Splatting (3DGS)はより効率的な代替手段を提供し、ダイナミックな手術シーンの再構築において最先端のパフォーマンスを達成する。
本研究では,3DGSの拡張であるFeature-EndoGaussian (FEG)を紹介する。
事前訓練されたセグメンテーション基礎モデルを活用することにより、FEGはガウス変形フレームワークに意味的特徴蒸留を導入し、再構築精度とセグメンテーション精度の両立を図る。
EndoNeRFデータセットでは、FEGは先行する手法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
さらに、EdoVis18データセットでは、FEGがモデルサイズとリアルタイムパフォーマンスのバランスをとりながら、競合するクラスワイドセグメンテーションメトリクスを示している。
関連論文リスト
- Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting [3.5351922399745166]
本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。
手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。
このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
論文 参考訳（メタデータ） (2024-07-20T11:20:07Z) - R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。
本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
論文 参考訳（メタデータ） (2024-05-31T08:39:02Z) - HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。
NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。
3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。
本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
論文 参考訳（メタデータ） (2024-05-28T06:48:02Z) - Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。
リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。
また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
論文 参考訳（メタデータ） (2024-05-28T05:14:57Z) - Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。
本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
論文 参考訳（メタデータ） (2024-03-21T10:38:18Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2024-01-29T10:22:45Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - Leveraging Frequency Domain Learning in 3D Vessel Segmentation [50.54833091336862]
本研究では,Fourier領域学習を3次元階層分割モデルにおけるマルチスケール畳み込みカーネルの代用として活用する。
管状血管分割作業において,新しいネットワークは顕著なサイス性能(ASACA500が84.37%,ImageCASが80.32%)を示した。
論文 参考訳（メタデータ） (2024-01-11T19:07:58Z) - A New Backbone for Hyperspectral Image Reconstruction [90.48427561874402]
3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。
空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。
SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
論文 参考訳（メタデータ） (2021-08-17T16:20:51Z) - Weakly-supervised Learning For Catheter Segmentation in 3D Frustum
Ultrasound [74.22397862400177]
超音波を用いた新しいカテーテルセグメンテーション法を提案する。
提案手法は,1ボリュームあたり0.25秒の効率で最先端の性能を実現した。
論文 参考訳（メタデータ） (2020-10-19T13:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。