論文の概要: EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting
- arxiv url: http://arxiv.org/abs/2401.11535v2
- Date: Mon, 12 Feb 2024 09:19:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 20:41:57.271532
- Title: EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting
- Title(参考訳): EndoGS : Gaussian Splatting を用いた変形性内視鏡組織再建術
- Authors: Lingting Zhu, Zhao Wang, Jiahao Cui, Zhenchao Jin, Guying Lin, Lequan
Yu
- Abstract要約: 変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
- 参考スコア(独自算出の注目度): 22.090899434775395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical 3D reconstruction is a critical area of research in robotic surgery,
with recent works adopting variants of dynamic radiance fields to achieve
success in 3D reconstruction of deformable tissues from single-viewpoint
videos. However, these methods often suffer from time-consuming optimization or
inferior quality, limiting their adoption in downstream tasks. Inspired by 3D
Gaussian Splatting, a recent trending 3D representation, we present EndoGS,
applying Gaussian Splatting for deformable endoscopic tissue reconstruction.
Specifically, our approach incorporates deformation fields to handle dynamic
scenes, depth-guided supervision with spatial-temporal weight masks to optimize
3D targets with tool occlusion from a single viewpoint, and surface-aligned
regularization terms to capture the much better geometry. As a result, EndoGS
reconstructs and renders high-quality deformable endoscopic tissues from a
single-viewpoint video, estimated depth maps, and labeled tool masks.
Experiments on DaVinci robotic surgery videos demonstrate that EndoGS achieves
superior rendering quality. Code is available at
https://github.com/HKU-MedAI/EndoGS.
- Abstract(参考訳): 外科的3次元再構成はロボット手術における重要な研究分野であり,最近の研究では動的放射能場の変種を採用し,単視点映像からの変形性組織の3次元再構成に成功している。
しかし、これらの手法は時間を要する最適化や品質の低下に苦しめられ、下流タスクへの採用が制限されることが多い。
最近流行している3D表現である3D Gaussian Splatting にインスパイアされ, 変形性内視鏡組織再建に Gaussian Splatting を適用した。
具体的には, 変形場を組み込んだ動的シーン処理, 空間的重みマスクを用いた奥行き案内の監督, ツールオクルージョンによる3dターゲットの最適化, 表面アライメントによる正則化手法により, より優れた形状を捉える。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
DaVinciのロボット手術ビデオの実験では、EndoGSは優れたレンダリング品質を実現している。
コードはhttps://github.com/HKU-MedAI/EndoGSで入手できる。
関連論文リスト
- GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian
Splatting [12.951997168433895]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳(メタデータ) (2024-01-29T18:55:29Z) - EndoGaussians: Single View Dynamic Gaussian Splatting for Deformable
Endoscopic Tissues Reconstruction [5.694872363688119]
動的内視鏡3D再構成にガウススプラッティングを用いた新しいアプローチであるEndoGaussiansを紹介した。
本手法は,各種内視鏡データセットの定量的評価により,新しい最先端規格を定めている。
論文 参考訳(メタデータ) (2024-01-24T10:27:50Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - EndoSurf: Neural Surface Reconstruction of Deformable Tissues with
Stereo Endoscope Videos [72.59573904930419]
ステレオ内視鏡ビデオから軟組織を再構成することは、多くの医療応用にとって必須の前提条件である。
従来の手法では、3Dシーンの表現が不十分なため、高品質な幾何学や外観を作り出すのに苦労していた。
本稿では,RGBD配列から変形面を効果的に表現する神経場に基づく新しい手法であるEndoSurfを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:28:20Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Semantic-SuPer: A Semantic-aware Surgical Perception Framework for
Endoscopic Tissue Classification, Reconstruction, and Tracking [21.133420628173067]
外科的知覚の枠組みであるSemantic-SuPerを提案する。
データアソシエーション、3D再構成、内視鏡的シーンの追跡を容易にするため、幾何学的および意味的な情報を統合する。
論文 参考訳(メタデータ) (2022-10-29T19:33:21Z) - Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。
これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。
本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文 参考訳(メタデータ) (2022-07-20T17:47:22Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-06-30T13:06:27Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。