論文の概要: High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces

• arxiv url: http://arxiv.org/abs/2404.13437v2
• Date: Wed, 30 Oct 2024 13:31:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:22:59.170511
• Title: High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces
• Title（参考訳）: 奥行き誘導型ニューラルサーフェスを用いた高忠実度内視鏡画像合成
• Authors: Baoru Huang, Yida Wang, Anh Nguyen, Daniel Elson, Francisco Vasconcelos, Danail Stoyanov,
• Abstract要約: 内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
• 参考スコア（独自算出の注目度）: 18.948630080040576
• License:
• Abstract: In surgical oncology, screening colonoscopy plays a pivotal role in providing diagnostic assistance, such as biopsy, and facilitating surgical navigation, particularly in polyp detection. Computer-assisted endoscopic surgery has recently gained attention and amalgamated various 3D computer vision techniques, including camera localization, depth estimation, surface reconstruction, etc. Neural Radiance Fields (NeRFs) and Neural Implicit Surfaces (NeuS) have emerged as promising methodologies for deriving accurate 3D surface models from sets of registered images, addressing the limitations of existing colon reconstruction approaches stemming from constrained camera movement. However, the inadequate tissue texture representation and confused scale problem in monocular colonoscopic image reconstruction still impede the progress of the final rendering results. In this paper, we introduce a novel method for colon section reconstruction by leveraging NeuS applied to endoscopic images, supplemented by a single frame of depth map. Notably, we pioneered the exploration of utilizing only one frame depth map in photorealistic reconstruction and neural rendering applications while this single depth map can be easily obtainable from other monocular depth estimation networks with an object scale. Through rigorous experimentation and validation on phantom imagery, our approach demonstrates exceptional accuracy in completely rendering colon sections, even capturing unseen portions of the surface. This breakthrough opens avenues for achieving stable and consistently scaled reconstructions, promising enhanced quality in cancer screening procedures and treatment interventions.
• Abstract（参考訳）: 外科腫瘍学において、大腸内視鏡検査は生検などの診断補助の提供、特にポリープ検出において外科的ナビゲーションの促進に重要な役割を果たしている。 近年,コンピュータによる内視鏡手術が注目され,カメラのローカライゼーション,深度推定,表面再構成など,様々な3Dコンピュータビジョン技術が融合している。 NeRF(Neural Radiance Fields)とNeuS(Neural Implicit Surfaces)が登録画像から正確な3次元表面モデルを導出するための有望な手法として登場し、制約されたカメラの動きから生じる既存の大腸再建アプローチの限界に対処している。 しかし, 単眼大腸内視鏡画像再構成では, 組織テクスチャの表現が不十分であり, スケールの混乱が最終レンダリングの進行を妨げている。 本稿では,1フレームの深度マップで補足した内視鏡画像に応用したNeuSを応用して,大腸部分再建のための新しい手法を提案する。 特に,1フレームの深度マップのみをフォトリアリスティックな再構成とニューラルレンダリングの応用に利用し,この1フレームの深度マップをオブジェクトスケールの他の単眼深度推定ネットワークから容易に得ることができるようにした。 ファントム画像に対する厳密な実験と検証により, 大腸領域を完全にレンダリングし, 表面の見えない部分を捕捉するなど, 異常な精度が得られた。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。

関連論文リスト

• Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy [11.798218793025974]
  本稿では3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。 提案手法は, 粗いモデルが得られる予備的なNeRF再構成を用いて, 再建された環境内に双眼シーンを生成する。 高忠実度深度マップは、現実的な脳ファントムの単眼内視鏡映像から生成される。
  論文  参考訳（メタデータ） (2024-10-05T05:26:21Z)
• Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
  クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。 本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。 臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
  論文  参考訳（メタデータ） (2024-09-18T13:40:59Z)
• ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
  そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。 以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-23T14:24:26Z)
• A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy from Monocular Endoscopic Video [8.32570164101507]
  内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。 以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。 ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
  論文  参考訳（メタデータ） (2023-10-22T17:11:40Z)
• Towards Abdominal 3-D Scene Rendering from Laparoscopy Surgical Videos using NeRFs [0.7106122418396085]
  腹腔鏡下手術ビデオにおけるNeRFの包括的検討を行った。 NeRFは3次元静的なシーンからフォトリアリスティックな画像を生成する能力により、最近注目を集めている。 実験結果は有望だが,提案手法は大きな課題に直面する。
  論文  参考訳（メタデータ） (2023-10-18T01:06:19Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
  そこで本研究では,深度推定のためのドメイン適応手法を提案する。 提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。 実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-24T08:11:34Z)
• Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images [13.996932179049978]
  本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。 エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。 2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-09T19:40:20Z)
• SERV-CT: A disparity dataset from CT for validation of endoscopic 3D reconstruction [8.448866668577946]
  CT(SERV-CT)に基づく立体内視鏡再構成検証データセットを提案する。 SERV-CTデータセットは、内視鏡画像の大部分をカバーするスムーズな参照格差と深さを持つ外科的アプリケーションのための使いやすい立体的検証を提供します。
  論文  参考訳（メタデータ） (2020-12-22T01:28:30Z)
• Tattoo tomography: Freehand 3D photoacoustic image reconstruction with an optical pattern [49.240017254888336]
  光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。 現在の欠点は、従来の2Dプローブによって提供される視野の制限である。 本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。