論文の概要: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2503.06161v1
• Date: Sat, 08 Mar 2025 10:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.220487
• Title: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction
• Title（参考訳）: Feature-EndoGaussian: Feature Distilled Gaussian Splatting in surgery deformable Scene Reconstruction (特集:平成20年度日本造形学会大会)
• Authors: Kai Li, Junhao Wang, William Han, Ding Zhao,
• Abstract要約: 3DGSの拡張であるFeature-EndoGaussian (FEG)を導入し、2Dセグメンテーションキューを3Dレンダリングに統合し、リアルタイムなセマンティックとシーン再構築を実現する。 FEGは先行法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
• 参考スコア（独自算出の注目度）: 26.358467072736524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimally invasive surgery (MIS) has transformed clinical practice by reducing recovery times, minimizing complications, and enhancing precision. Nonetheless, MIS inherently relies on indirect visualization and precise instrument control, posing unique challenges. Recent advances in artificial intelligence have enabled real-time surgical scene understanding through techniques such as image classification, object detection, and segmentation, with scene reconstruction emerging as a key element for enhanced intraoperative guidance. Although neural radiance fields (NeRFs) have been explored for this purpose, their substantial data requirements and slow rendering inhibit real-time performance. In contrast, 3D Gaussian Splatting (3DGS) offers a more efficient alternative, achieving state-of-the-art performance in dynamic surgical scene reconstruction. In this work, we introduce Feature-EndoGaussian (FEG), an extension of 3DGS that integrates 2D segmentation cues into 3D rendering to enable real-time semantic and scene reconstruction. By leveraging pretrained segmentation foundation models, FEG incorporates semantic feature distillation within the Gaussian deformation framework, thereby enhancing both reconstruction fidelity and segmentation accuracy. On the EndoNeRF dataset, FEG achieves superior performance (SSIM of 0.97, PSNR of 39.08, and LPIPS of 0.03) compared to leading methods. Additionally, on the EndoVis18 dataset, FEG demonstrates competitive class-wise segmentation metrics while balancing model size and real-time performance.
• Abstract（参考訳）: 最小侵襲手術 (MIS) は, 回復時間短縮, 合併症の最小化, 精度の向上により, 臨床実践に変化をもたらした。 しかし、MISは本質的に間接的な可視化と精密な機器制御に依存しており、固有の課題を提起している。 近年の人工知能の進歩により、画像分類、物体検出、セグメンテーションといった技術により、リアルタイムの外科的シーン理解が可能となり、シーン再構築が術中指導の強化の鍵となる。 この目的のためにニューラルレイディアンス場(NeRF)が研究されているが、そのデータ要求とレンダリングの遅さによりリアルタイムのパフォーマンスが阻害されている。 対照的に、3D Gaussian Splatting (3DGS)はより効率的な代替手段を提供し、ダイナミックな手術シーンの再構築において最先端のパフォーマンスを達成する。 本研究では,3DGSの拡張であるFeature-EndoGaussian (FEG)を紹介する。 事前訓練されたセグメンテーション基礎モデルを活用することにより、FEGはガウス変形フレームワークに意味的特徴蒸留を導入し、再構築精度とセグメンテーション精度の両立を図る。 EndoNeRFデータセットでは、FEGは先行する手法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。 さらに、EdoVis18データセットでは、FEGがモデルサイズとリアルタイムパフォーマンスのバランスをとりながら、競合するクラスワイドセグメンテーションメトリクスを示している。

関連論文リスト

• IXGS-Intraoperative 3D Reconstruction from Sparse, Arbitrarily Posed Real X-rays [1.2721397985664153]
  R2$-Gaussian splatting frameworkを拡張して、一貫した3Dボリュームを困難な条件下で再構築する。 形態伝達を用いた解剖学的誘導ラジオグラフィ標準化のステップを導入し、ビュー間の視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2025-04-20T18:28:13Z)
• Learning to Efficiently Adapt Foundation Models for Self-Supervised Endoscopic 3D Scene Reconstruction from Any Cameras [41.985581990753765]
  本稿では,内視鏡的シーン再構築のための統合フレームワークであるEndo3DACを紹介する。 我々は、深度マップ、相対ポーズ、カメラ固有のパラメータを同時に推定できる統合ネットワークを設計する。 4つの内視鏡的データセットに対する実験により、Endo3DACは他の最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-20T07:49:04Z)
• T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
  映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。 我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
  論文  参考訳（メタデータ） (2024-11-29T07:45:24Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
  この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。 リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。 また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:14:57Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
  本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。 これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
  論文  参考訳（メタデータ） (2024-01-29T10:22:45Z)
• EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction [36.35631592019182]
  3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。 我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。 公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T08:44:26Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• A New Backbone for Hyperspectral Image Reconstruction [90.48427561874402]
  3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。 空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。 SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T16:20:51Z)
• Weakly-supervised Learning For Catheter Segmentation in 3D Frustum Ultrasound [74.22397862400177]
  超音波を用いた新しいカテーテルセグメンテーション法を提案する。 提案手法は,1ボリュームあたり0.25秒の効率で最先端の性能を実現した。
  論文  参考訳（メタデータ） (2020-10-19T13:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。