論文の概要: Gaussian Pancakes: Geometrically-Regularized 3D Gaussian Splatting for Realistic Endoscopic Reconstruction
- arxiv url: http://arxiv.org/abs/2404.06128v1
- Date: Tue, 9 Apr 2024 08:51:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 15:29:31.335442
- Title: Gaussian Pancakes: Geometrically-Regularized 3D Gaussian Splatting for Realistic Endoscopic Reconstruction
- Title(参考訳): ガウスパンケーキ : 実視的内視鏡的再建のための幾何学的3次元ガウススプレイティング
- Authors: Sierra Bonilla, Shuai Zhang, Dimitrios Psychogyios, Danail Stoyanov, Francisco Vasconcelos, Sophia Bano,
- Abstract要約: 現在の方法は、大腸表面の包括的かつ正確な3D再構成を提供することに苦慮している。
ガウス・パンケーキ(Gaussian Pancakes)は3次元ガウス・スティング(Gaussian Splatting, 3D GS)の手法である。
また,PSNRが18%向上し,SSIMが16%向上した。
また、100倍以上の高速レンダリングと10倍以上のトレーニング時間を提供し、リアルタイムアプリケーションに実用的なツールを提供する。
- 参考スコア(独自算出の注目度): 12.16045145984442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Within colorectal cancer diagnostics, conventional colonoscopy techniques face critical limitations, including a limited field of view and a lack of depth information, which can impede the detection of precancerous lesions. Current methods struggle to provide comprehensive and accurate 3D reconstructions of the colonic surface which can help minimize the missing regions and reinspection for pre-cancerous polyps. Addressing this, we introduce 'Gaussian Pancakes', a method that leverages 3D Gaussian Splatting (3D GS) combined with a Recurrent Neural Network-based Simultaneous Localization and Mapping (RNNSLAM) system. By introducing geometric and depth regularization into the 3D GS framework, our approach ensures more accurate alignment of Gaussians with the colon surface, resulting in smoother 3D reconstructions with novel viewing of detailed textures and structures. Evaluations across three diverse datasets show that Gaussian Pancakes enhances novel view synthesis quality, surpassing current leading methods with a 18% boost in PSNR and a 16% improvement in SSIM. It also delivers over 100X faster rendering and more than 10X shorter training times, making it a practical tool for real-time applications. Hence, this holds promise for achieving clinical translation for better detection and diagnosis of colorectal cancer.
- Abstract(参考訳): 大腸癌の診断では、従来の大腸内視鏡検査では、視野の制限や深度情報の欠如など、重要な限界に直面しており、虫垂病変の検出を阻害する可能性がある。
現在の方法では、大腸表面の包括的かつ正確な3次元再構築が困難であり、欠落した領域を最小化し、先管ポリープの再検査に役立てることができる。
そこで我々は,3次元ガウス分割(3D GS)とリカレントニューラルネットワークを用いた同時局在マッピング(RNNSLAM)システムを組み合わせた「ガウスパンケーキ」を提案する。
3D GSフレームワークに幾何学的, 深さ的規則化を導入することで, ガウスと結腸表面とのより正確なアライメントが確保され, よりスムーズな3D再構成が可能となった。
3つの多様なデータセットで評価したところ、ガウスパンケーキは、PSNRが18%、SSIMが16%向上し、新しいビュー合成品質が向上した。
また、100倍以上の高速レンダリングと10倍以上のトレーニング時間を提供し、リアルタイムアプリケーションに実用的なツールを提供する。
したがって、このことは大腸癌の検出と診断を改善するための臨床翻訳の達成を約束する。
関連論文リスト
- SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - EndoGaussians: Single View Dynamic Gaussian Splatting for Deformable
Endoscopic Tissues Reconstruction [5.694872363688119]
動的内視鏡3D再構成にガウススプラッティングを用いた新しいアプローチであるEndoGaussiansを紹介した。
本手法は,各種内視鏡データセットの定量的評価により,新しい最先端規格を定めている。
論文 参考訳(メタデータ) (2024-01-24T10:27:50Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting [22.090899434775395]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳(メタデータ) (2024-01-21T16:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。