論文の概要: ColonNeRF: Neural Radiance Fields for High-Fidelity Long-Sequence
Colonoscopy Reconstruction
- arxiv url: http://arxiv.org/abs/2312.02015v1
- Date: Mon, 4 Dec 2023 16:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:43:52.185978
- Title: ColonNeRF: Neural Radiance Fields for High-Fidelity Long-Sequence
Colonoscopy Reconstruction
- Title(参考訳): ColonNeRF:高忠実長周期大腸内視鏡手術のための神経放射場
- Authors: Yufei Shi, Beijia Lu, Jia-Wei Liu, Ming Li, Mike Zheng Shou
- Abstract要約: 我々は,ニューラルレンダリングを応用したニューラルレイディアンスフィールド(NeRF)に基づく新しい再構成フレームワークCroneNeRFを紹介した。
特に,大腸全体を断片的に再構築するために,我々のColonNeRFでは,領域分割と統合モジュールを導入している。
スパースビューからの課題を克服するため、セマンティック一貫性の指導の下で、カメラポーズをデシファイトするためのDensiNetモジュールを考案した。
- 参考スコア(独自算出の注目度): 22.11894664846505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Colonoscopy reconstruction is pivotal for diagnosing colorectal cancer.
However, accurate long-sequence colonoscopy reconstruction faces three major
challenges: (1) dissimilarity among segments of the colon due to its meandering
and convoluted shape; (2) co-existence of simple and intricately folded
geometry structures; (3) sparse viewpoints due to constrained camera
trajectories. To tackle these challenges, we introduce a new reconstruction
framework based on neural radiance field (NeRF), named ColonNeRF, which
leverages neural rendering for novel view synthesis of long-sequence
colonoscopy. Specifically, to reconstruct the entire colon in a piecewise
manner, our ColonNeRF introduces a region division and integration module,
effectively reducing shape dissimilarity and ensuring geometric consistency in
each segment. To learn both the simple and complex geometry in a unified
framework, our ColonNeRF incorporates a multi-level fusion module that
progressively models the colon regions from easy to hard. Additionally, to
overcome the challenges from sparse views, we devise a DensiNet module for
densifying camera poses under the guidance of semantic consistency. We conduct
extensive experiments on both synthetic and real-world datasets to evaluate our
ColonNeRF. Quantitatively, our ColonNeRF outperforms existing methods on two
benchmarks over four evaluation metrics. Notably, our LPIPS-ALEX scores exhibit
a substantial increase of about 67%-85% on the SimCol-to-3D dataset.
Qualitatively, our reconstruction visualizations show much clearer textures and
more accurate geometric details. These sufficiently demonstrate our superior
performance over the state-of-the-art methods.
- Abstract(参考訳): 大腸内視鏡検査は大腸癌の診断に重要である。
しかし, 大腸内視鏡検査の精度は, (1) 蛇行と畳み込みによる大腸セグメント間の相違, (2) 単純で複雑に折り畳まれた形状構造の共存, (3) 制約付きカメラの軌跡による視点の欠如という3つの課題に直面している。
これらの課題に対処するために,神経根野(neural radiance field,nerf)に基づく新しい再構成フレームワークであるcolonnerfを導入する。
特に,大腸全体を断片的に再構築するために,我々のColonNeRFは領域分割と統合モジュールを導入し,形状の相違を効果的に低減し,各セグメントの幾何的整合性を確保する。
統一されたフレームワークで単純な幾何学と複雑な幾何学の両方を学ぶために、我々のColonNeRFは、コロニー領域を徐々にモデル化する多層融合モジュールを組み込んでいる。
さらに,sparse viewからの課題を克服するために,カメラポーズのデンシネットモジュールを,意味的一貫性の指導のもとに考案する。
人工と実世界の両方のデータセットについて広範な実験を行い、ColonNeRFを評価する。
定量的に,colonnerfは既存の手法を2つのベンチマークで4つの評価指標で上回っている。
特に、我々のLPIPS-ALEXスコアは、SimCol-to-3Dデータセットで約67%-85%増加している。
質的には,より明瞭なテクスチャとより正確な幾何学的詳細を示す。
これらは最先端のメソッドよりも優れたパフォーマンスを十分に示しています。
関連論文リスト
- Dual-scale Enhanced and Cross-generative Consistency Learning for
Semi-supervised Polyp Segmentation [52.06525450636897]
大腸癌の早期診断と治療において, 自動ポリープセグメンテーションが重要な役割を担っている。
既存の手法は、完全に教師されたトレーニングに大きく依存しており、大量のラベル付きデータと時間を要するピクセル単位のアノテーションを必要とする。
大腸内視鏡画像からの半教師付きポリープ(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learningフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - Large Intestine 3D Shape Refinement Using Point Diffusion Models for
Digital Phantom Generation [1.127799558289422]
我々は, 幾何学的深層学習の最近の進歩と拡散確率モデルのデノベーションを活用して, 大腸のセグメンテーション結果を改善した。
階層型潜在空間における2つの条件付き微分拡散モデルを訓練し、形状改善を行う。
実験の結果,臓器形状のグローバル分布と微細な細部の両方を捉えるためのアプローチの有効性が示された。
論文 参考訳(メタデータ) (2023-09-15T10:10:48Z) - Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape
Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。
nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。
全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-08-03T13:56:07Z) - Passive superresolution imaging of incoherent objects [63.942632088208505]
手法は、Hermite-Gaussianモードとその重ね合わせのオーバーコンプリートベースで、画像平面内のフィールドの空間モード成分を測定することで構成される。
ディープニューラルネットワークは、これらの測定からオブジェクトを再構築するために使用される。
論文 参考訳(メタデータ) (2023-04-19T15:53:09Z) - CryoFormer: Continuous Heterogeneous Cryo-EM Reconstruction using
Transformer-based Neural Representations [49.49939711956354]
核電子顕微鏡(cryo-EM)は、タンパク質やその他の生体分子の3D構造を高分解能で再構築することを可能にする。
3次元構造の連続的な動きをノイズやランダムに配向した2次元Creo-EM画像から再構成することは依然として困難である。
我々はCryoFormerを提案する。CryoFormerは連続したヘテロジニアスCryo-EM再構成のための新しいアプローチである。
論文 参考訳(メタデータ) (2023-03-28T18:59:17Z) - Estimating the coverage in 3d reconstructions of the colon from
colonoscopy videos [0.0]
手術中の大腸の視覚的被覆が不十分な場合、しばしばポリープが欠落する。
この問題を軽減するため, 欠損領域を可視化するために, 大腸の3次元面を再構築する手法が提案されている。
再建された大腸点雲からカバー範囲を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-10-19T10:53:34Z) - C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in
Colonoscopy [0.0]
光内視鏡(OC)による3D大腸再建による非検査面の検出は未解決の問題である。
近年の手法では,(1)フレーム・ツー・フレーム(あるいはフレーム・ツー・モデル)の予測が多くのトラッキング障害を引き起こし,(2)スキャン品質を犠牲にしてポイントベース表現に頼っている。
本稿では,これらの課題を終末まで解決し,定量的かつ定性的かつ堅牢な3次元大腸再建を実現するための新しい再構築フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-04T10:38:19Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Stepwise Feature Fusion: Local Guides Global [14.394421688712052]
本稿では,ピラミッドトランスフォーマーエンコーダを用いた医用画像セグメンテーションのためのState-Of-The-Artモデルを提案する。
提案するプログレッシブ・ローカリティ・デコーダをピラミッドトランスフォーマーのバックボーンに適応させて,局所的特徴と注意分散を強調する。
論文 参考訳(メタデータ) (2022-03-07T10:36:38Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳(メタデータ) (2021-11-19T04:44:27Z) - Volumetric Medical Image Segmentation: A 3D Deep Coarse-to-fine
Framework and Its Adversarial Examples [74.92488215859991]
本稿では,これらの課題に効果的に取り組むために,新しい3Dベースの粗粒度フレームワークを提案する。
提案した3Dベースのフレームワークは、3つの軸すべてに沿ってリッチな空間情報を活用できるため、2Dよりも大きなマージンで優れている。
我々は,3つのデータセット,NIH膵データセット,JHMI膵データセット,JHMI病理嚢胞データセットについて実験を行った。
論文 参考訳(メタデータ) (2020-10-29T15:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。