論文の概要: EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2503.22437v1
- Date: Fri, 28 Mar 2025 13:57:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:29:19.326503
- Title: EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting
- Title（参考訳）: EndoLRMGS:大再建モデルとガウススプラッティングを併用した完全内視鏡的シーン再構成
- Authors: Xu Wang, Shuai Zhang, Baoru Huang, Danail Stoyanov, Evangelos B. Mazomenos,
- Abstract要約: 本研究では, 手術シーンの完全再構築にLRM(Large Restruction Modelling)とGS(Gaussian Splatting)を併用したEndoLRMGSを提案する。
GSは変形可能な組織を再構築し、LRMは手術器具の3Dモデルを生成し、位置とスケールはその後最適化される。
3つの公開データセットから得られた4つの手術ビデオの実験では、ツール3DモデルのIoU(Intersection-over-union)を2Dプロジェクションで40%改善する。
- 参考スコア（独自算出の注目度）: 16.50682401904587
- License:
- Abstract: Complete reconstruction of surgical scenes is crucial for robot-assisted surgery (RAS). Deep depth estimation is promising but existing works struggle with depth discontinuities, resulting in noisy predictions at object boundaries and do not achieve complete reconstruction omitting occluded surfaces. To address these issues we propose EndoLRMGS, that combines Large Reconstruction Modelling (LRM) and Gaussian Splatting (GS), for complete surgical scene reconstruction. GS reconstructs deformable tissues and LRM generates 3D models for surgical tools while position and scale are subsequently optimized by introducing orthogonal perspective joint projection optimization (OPjPO) to enhance accuracy. In experiments on four surgical videos from three public datasets, our method improves the Intersection-over-union (IoU) of tool 3D models in 2D projections by>40%. Additionally, EndoLRMGS improves the PSNR of the tools projection from 3.82% to 11.07%. Tissue rendering quality also improves, with PSNR increasing from 0.46% to 49.87%, and SSIM from 1.53% to 29.21% across all test videos.
- Abstract（参考訳）: 手術シーンの完全復元は,ロボット支援手術(RAS)において重要である。
深度推定は期待できるが、既存の作業は深度不連続に苦しむため、物体の境界でノイズの予測が行われ、閉塞面を省略する完全な再構成が達成できない。
これらの課題に対処するために,広範再建モデル(LRM)とガウススプラッティング(GS)を組み合わせたEndoLRMGSを提案する。
GSは変形可能な組織を再構成し、LRMは手術器具の3Dモデルを生成し、位置とスケールはその後、直交視点関節投射最適化(OPjPO)を導入して精度を高めることで最適化される。
3つの公開データセットから得られた4つの手術ビデオの実験では、ツール3DモデルのIoU(Intersection-over-union)を2Dプロジェクションで40%改善する。
さらに、EndoLRMGSはツール予測のPSNRを3.82%から11.07%に改善した。
PSNRは0.46%から49.87%に、SSIMは1.53%から29.21%に向上した。
関連論文リスト
- 4DRGS: 4D Radiative Gaussian Splatting for Efficient 3D Vessel Reconstruction from Sparse-View Dynamic DSA Images [49.170407434313475]
既存の手法は、しばしば最適以下の結果を生成するか、過剰な計算時間を必要とする。
高品質な高精細化を実現するため、4次元ガウススプラッティング(4DRGS)を提案する。
4DRGSは5分間のトレーニングで印象的な結果を得る。
論文 参考訳（メタデータ） (2024-12-17T13:51:56Z) - SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction [18.074890506856114]
幾何学的精度を向上した手術シーン再構築のための動的3次元ガウススプレイティングフレームワークであるStagementGSを提案する。
提案手法は,まず奥行き先を用いてガウス点雲を初期化し,深度変化の大きい画素を識別するために二元運動マスクを用い,フレーム間の深度マップから点雲を融合して初期化する。
フレキシブル変形モデルを用いて動的シーンを表現し、教師なし深度スムースネス制約とともに正規化深度正規化損失を導入し、より正確な幾何再構成を実現する。
論文 参考訳（メタデータ） (2024-10-11T22:46:46Z) - EndoPerfect: High-Accuracy Monocular Depth Estimation and 3D Reconstruction for Endoscopic Surgery via NeRF-Stereo Fusion [11.798218793025974]
内視鏡下副鼻腔手術(ESS)では,術中CTは術中評価に有用であるが,着床速度や放射線曝露に制約がある。
既存の技術は、しばしば密度の高い再建に必要なサブミリ精度を達成するのに苦労する。
本稿では,Neural Radiance Fields(NeRF)を中間表現として活用するオンライン学習手法を提案する。
提案手法では,0.5mm未満の点間精度が0.125$pm$0.443mmであることを示す。
論文 参考訳（メタデータ） (2024-10-05T05:26:21Z) - Enhanced Knee Kinematics: Leveraging Deep Learning and Morphing Algorithms for 3D Implant Modeling [2.752817022620644]
本研究では, 人工膝の正確な3次元再構築のための機械学習アルゴリズムとモーフィング技術を用いた新しいアプローチを提案する。
畳み込みニューラルネットワークは、インプラントされたコンポーネントの大腿骨輪郭を自動的に分割するように訓練される。
移植膝関節のパーソナライズされた3次元モデルを生成する。
論文 参考訳（メタデータ） (2024-08-02T20:11:04Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳（メタデータ） (2024-01-29T18:55:29Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳（メタデータ） (2023-06-23T12:09:52Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳（メタデータ） (2023-05-31T14:38:35Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳（メタデータ） (2020-12-16T07:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。