論文の概要: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.11535v1
- Date: Sun, 21 Jan 2024 16:14:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:55:08.966229
- Title: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting
- Title(参考訳): gaussian splattingによる変形性内視鏡組織再建
- Authors: Lingting Zhu, Zhao Wang, Zhenchao Jin, Guying Lin, Lequan Yu
- Abstract要約: 変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法では,動的シーンの処理に変形場,深度誘導型監視,空間時空間重みマスクが組み込まれている。
DaVinciのロボット手術ビデオの実験は、EndoGSが優れたレンダリング品質を達成することを実証している。
- 参考スコア(独自算出の注目度): 23.340145412287434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical 3D reconstruction is a critical area of research in robotic surgery,
with recent works adopting variants of dynamic radiance fields to achieve
success in 3D reconstruction of deformable tissues from single-viewpoint
videos. However, these methods often suffer from time-consuming optimization or
inferior quality, limiting their adoption in downstream tasks. Inspired by 3D
Gaussian Splatting, a recent trending 3D representation, we present EndoGS,
applying Gaussian Splatting for deformable endoscopic tissue reconstruction.
Specifically, our approach incorporates deformation fields to handle dynamic
scenes, depth-guided supervision to optimize 3D targets with a single
viewpoint, and a spatial-temporal weight mask to mitigate tool occlusion. As a
result, EndoGS reconstructs and renders high-quality deformable endoscopic
tissues from a single-viewpoint video, estimated depth maps, and labeled tool
masks. Experiments on DaVinci robotic surgery videos demonstrate that EndoGS
achieves superior rendering quality. Code is available at
https://github.com/HKU-MedAI/EndoGS.
- Abstract(参考訳): 外科的3次元再構成はロボット手術における重要な研究分野であり,最近の研究では動的放射能場の変種を採用し,単視点映像からの変形性組織の3次元再構成に成功している。
しかし、これらの手法は時間を要する最適化や品質の低下に苦しめられ、下流タスクへの採用が制限されることが多い。
最近流行している3D表現である3D Gaussian Splatting にインスパイアされ, 変形性内視鏡組織再建に Gaussian Splatting を適用した。
具体的には,動的シーンを扱う変形場,単一の視点で3dターゲットを最適化するための奥行き誘導型監督,ツールオクルージョンを緩和するための空間時空間ウエイトマスクを組み込んだ。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
DaVinciのロボット手術ビデオの実験では、EndoGSは優れたレンダリング品質を実現している。
コードはhttps://github.com/HKU-MedAI/EndoGSで入手できる。
関連論文リスト
- Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - Generative Enhancement for 3D Medical Images [74.17066529847546]
本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。
本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。
3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
論文 参考訳(メタデータ) (2024-03-19T15:57:04Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳(メタデータ) (2024-01-29T18:55:29Z) - EndoGaussians: Single View Dynamic Gaussian Splatting for Deformable
Endoscopic Tissues Reconstruction [5.694872363688119]
動的内視鏡3D再構成にガウススプラッティングを用いた新しいアプローチであるEndoGaussiansを紹介した。
本手法は,各種内視鏡データセットの定量的評価により,新しい最先端規格を定めている。
論文 参考訳(メタデータ) (2024-01-24T10:27:50Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - Text-to-3D using Gaussian Splatting [18.163413810199234]
本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。
GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。
我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
論文 参考訳(メタデータ) (2023-09-28T16:44:31Z) - EndoSurf: Neural Surface Reconstruction of Deformable Tissues with
Stereo Endoscope Videos [72.59573904930419]
ステレオ内視鏡ビデオから軟組織を再構成することは、多くの医療応用にとって必須の前提条件である。
従来の手法では、3Dシーンの表現が不十分なため、高品質な幾何学や外観を作り出すのに苦労していた。
本稿では,RGBD配列から変形面を効果的に表現する神経場に基づく新しい手法であるEndoSurfを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:28:20Z) - Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。
これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。
本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文 参考訳(メタデータ) (2022-07-20T17:47:22Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-06-30T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。