論文の概要: EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2407.01029v1
- Date: Mon, 1 Jul 2024 07:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 22:29:17.322199
- Title: EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting
- Title（参考訳）: EndoSparse:Gaussian Splattingを用いた内視鏡シーンのリアルタイムスパースビュー合成
- Authors: Chenxin Li, Brandon Y. Feng, Yifan Liu, Hengyu Liu, Cheng Wang, Weihao Yu, Yixuan Yuan,
- Abstract要約: 内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
- 参考スコア（独自算出の注目度）: 39.60431471170721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D reconstruction of biological tissues from a collection of endoscopic images is a key to unlock various important downstream surgical applications with 3D capabilities. Existing methods employ various advanced neural rendering techniques for photorealistic view synthesis, but they often struggle to recover accurate 3D representations when only sparse observations are available, which is usually the case in real-world clinical scenarios. To tackle this {sparsity} challenge, we propose a framework leveraging the prior knowledge from multiple foundation models during the reconstruction process, dubbed as \textit{EndoSparse}. Experimental results indicate that our proposed strategy significantly improves the geometric and appearance quality under challenging sparse-view conditions, including using only three views. In rigorous benchmarking experiments against state-of-the-art methods, \textit{EndoSparse} achieves superior results in terms of accurate geometry, realistic appearance, and rendering efficiency, confirming the robustness to sparse-view limitations in endoscopic reconstruction. \textit{EndoSparse} signifies a steady step towards the practical deployment of neural 3D reconstruction in real-world clinical scenarios. Project page: https://endo-sparse.github.io/.
- Abstract（参考訳）: 内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、フォトリアリスティックなビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合、しばしば正確な3D表現の回復に苦慮している。
このスパーシティー問題に対処するため,再建プロセス中に複数の基盤モデルから事前知識を活用するフレームワークを提案し,これを「textit{EndoSparse}」と呼ぶ。
実験の結果,提案手法は,3つの視点のみを用いながら,難易度の高い視界条件下での幾何学的・外観的品質を著しく向上させることが示された。
最先端手法に対する厳密なベンチマーク実験では, 正確な幾何, 現実的な外観, レンダリング効率の点で優れた結果が得られ, 内視鏡的再構成におけるスパースビュー限界に対する堅牢性を確認している。
\textit{EndoSparse}は、実際の臨床シナリオにおける神経3D再構築の実践的な展開に向けての着実に一歩を踏み出したことを意味する。
プロジェクトページ: https://endo-sparse.github.io/.com
関連論文リスト
- A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。
一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。
この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
論文 参考訳（メタデータ） (2024-08-08T12:51:23Z) - SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。
NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。
我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
論文 参考訳（メタデータ） (2024-07-06T09:31:30Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳（メタデータ） (2024-04-20T18:06:26Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳（メタデータ） (2024-03-28T11:12:33Z) - Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。
本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
論文 参考訳（メタデータ） (2024-03-21T10:38:18Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳（メタデータ） (2020-10-26T15:31:52Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。