論文の概要: UC-NeRF: Uncertainty-aware Conditional Neural Radiance Fields from Endoscopic Sparse Views

• arxiv url: http://arxiv.org/abs/2409.02917v2
• Date: Sat, 09 Nov 2024 15:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:45.533292
• Title: UC-NeRF: Uncertainty-aware Conditional Neural Radiance Fields from Endoscopic Sparse Views
• Title（参考訳）: UC-NeRF : 内視鏡的スパースから見た不確かさを意識した条件付き神経放射場
• Authors: Jiaxin Guo, Jiangliu Wang, Ruofeng Wei, Di Kang, Qi Dou, Yun-hui Liu,
• Abstract要約: 新たなビューシンセサイザーは、幾何学と外観の再構築、理解、計画、および手術シーンにおける意思決定の強化を提供する。 外科的シーンへのNeRFの直接適用は、内視鏡的スパースビューと有意な光度不整合により、不満足な結果をもたらす。 スパース手術の視界から, 鮮明な形状の曖昧さに対処するために, 新規な視線合成のための不確実性を考慮した条件付きNeRFを提案する。
• 参考スコア（独自算出の注目度）: 43.367005002662154
• License:
• Abstract: Visualizing surgical scenes is crucial for revealing internal anatomical structures during minimally invasive procedures. Novel View Synthesis is a vital technique that offers geometry and appearance reconstruction, enhancing understanding, planning, and decision-making in surgical scenes. Despite the impressive achievements of Neural Radiance Field (NeRF), its direct application to surgical scenes produces unsatisfying results due to two challenges: endoscopic sparse views and significant photometric inconsistencies. In this paper, we propose uncertainty-aware conditional NeRF for novel view synthesis to tackle the severe shape-radiance ambiguity from sparse surgical views. The core of UC-NeRF is to incorporate the multi-view uncertainty estimation to condition the neural radiance field for modeling the severe photometric inconsistencies adaptively. Specifically, our UC-NeRF first builds a consistency learner in the form of multi-view stereo network, to establish the geometric correspondence from sparse views and generate uncertainty estimation and feature priors. In neural rendering, we design a base-adaptive NeRF network to exploit the uncertainty estimation for explicitly handling the photometric inconsistencies. Furthermore, an uncertainty-guided geometry distillation is employed to enhance geometry learning. Experiments on the SCARED and Hamlyn datasets demonstrate our superior performance in rendering appearance and geometry, consistently outperforming the current state-of-the-art approaches. Our code will be released at https://github.com/wrld/UC-NeRF.
• Abstract（参考訳）: 外科的シーンの可視化は、最小侵襲の手術で内部の解剖学的構造を明らかにするために重要である。 新しいビューシンセサイザーは、幾何学と外観の再構築、理解、計画、そして外科シーンにおける意思決定の強化を提供する重要な技術である。 ニューラル・レージアンス・フィールド(Neural Radiance Field, NeRF)の顕著な業績にもかかわらず、手術シーンへの直接的適用は、内視鏡的スパース・ビューと重要な光度不整合という2つの課題により、満足のいく結果をもたらす。 本稿では, スパース手術の視界から, 厳密な形状・輝度のあいまいさに対処するために, 新規な視線合成のための不確実性を考慮した条件付きNeRFを提案する。 UC-NeRFの中核は、重度の測光不整合を適応的にモデル化するために、多視点不確実性推定を神経放射場に組み込むことである。 具体的には、UC-NeRFは、まず多視点ステレオネットワークという形で整合学習器を構築し、疎視から幾何学的対応を確立し、不確実性推定と特徴事前を生成する。 ニューラルレンダリングでは,光度不整合を明示的に扱うために不確実性推定を利用するベース適応型NeRFネットワークを設計する。 さらに、幾何学習を強化するために不確実性誘導幾何蒸留を用いる。 SCAREDとHamlynデータセットの実験は、外観と幾何学のレンダリングにおける優れたパフォーマンスを示し、現在の最先端のアプローチを一貫して上回ります。 私たちのコードはhttps://github.com/wrld/UC-NeRF.orgで公開されます。

関連論文リスト

• Synomaly Noise and Multi-Stage Diffusion: A Novel Approach for Unsupervised Anomaly Detection in Ultrasound Imaging [32.99597899937902]
  拡散モデルに基づく新しい教師なし異常検出フレームワークを提案する。 提案手法は, 合成ノイズ関数と多段拡散過程を組み込む。 提案手法は頸動脈US,脳MRI,肝CTを用いて検討した。
  論文  参考訳（メタデータ） (2024-11-06T15:43:51Z)
• K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality Assessment [71.27193056354741]
  クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。 本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。 K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
  論文  参考訳（メタデータ） (2023-07-10T01:26:48Z)
• NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
  室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-13T06:40:08Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction [147.9379707578091]
  NeRFmmは、共同最適化タスクを扱うNeRF(Neural Radiance Fields)である。 NeRFmmは正確なシーン合成とポーズ推定を行うが、難しいシーンで完全に注釈付けされたベースラインを上回るのに苦戦している。 放射光マッピングにおける正弦波活性化を利用する正弦波ニューラルレイディアンス場(SiNeRF)と、効率よく光束を選択するための新しい混合領域サンプリング(MRS)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T10:47:51Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。