論文の概要: Neural Radiance Fields for Novel View Synthesis in Monocular Gastroscopy

• arxiv url: http://arxiv.org/abs/2405.18863v1
• Date: Wed, 29 May 2024 08:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:09:15.402538
• Title: Neural Radiance Fields for Novel View Synthesis in Monocular Gastroscopy
• Title（参考訳）: 単一分子分光法による新しいビュー合成のためのニューラルラジアンス場
• Authors: Zijie Jiang, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Kenji Miki,
• Abstract要約: 我々は、新しい視点に向けた光現実画像のための単眼胃内視鏡データに、新しい放射能神経場(NeRF)の手法を適用した。 単分子ガストロスコープの局所領域における視差による性能劣化に対処するため, 予め再構成した点雲からの幾何学的先行点をNeRFのトレーニングに組み込む。 近年のNeRF法と比較すると,胃内の新しい視点からの高忠実度画像のレンダリングは質的かつ定量的に行われている。
• 参考スコア（独自算出の注目度）: 12.099954665200336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling the synthesis of arbitrarily novel viewpoint images within a patient's stomach from pre-captured monocular gastroscopic images is a promising topic in stomach diagnosis. Typical methods to achieve this objective integrate traditional 3D reconstruction techniques, including structure-from-motion (SfM) and Poisson surface reconstruction. These methods produce explicit 3D representations, such as point clouds and meshes, thereby enabling the rendering of the images from novel viewpoints. However, the existence of low-texture and non-Lambertian regions within the stomach often results in noisy and incomplete reconstructions of point clouds and meshes, hindering the attainment of high-quality image rendering. In this paper, we apply the emerging technique of neural radiance fields (NeRF) to monocular gastroscopic data for synthesizing photo-realistic images for novel viewpoints. To address the performance degradation due to view sparsity in local regions of monocular gastroscopy, we incorporate geometry priors from a pre-reconstructed point cloud into the training of NeRF, which introduces a novel geometry-based loss to both pre-captured observed views and generated unobserved views. Compared to other recent NeRF methods, our approach showcases high-fidelity image renderings from novel viewpoints within the stomach both qualitatively and quantitatively.
• Abstract（参考訳）: 腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下手術は腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下腹腔鏡下手術の診断に有用である。 この目的を達成するための典型的な方法は、構造移動(SfM)やポアソン表面の再構成を含む従来の3D再構成技術を統合することである。 これらの手法は、点雲やメッシュなどの明示的な3D表現を生成し、新しい視点から画像のレンダリングを可能にする。 しかし、胃内の低テクスチュア領域と非ランベルト領域の存在は、しばしば、点雲とメッシュのノイズと不完全な再構成をもたらし、高品質の画像レンダリングの達成を妨げる。 本稿では,ニューラルラジアンスフィールド(NeRF)の新しい手法をモノクロガストロスコープデータに適用し,新しい視点に向けて光現実像を合成する。 単眼胃内視鏡の局所領域における視線間隔による性能劣化に対処するため, 既設点雲からの幾何先行をNeRFのトレーニングに組み込んだ。 近年のNeRF法と比較すると,胃内の新しい視点からの高忠実度画像のレンダリングは質的,定量的に行われている。

関連論文リスト

• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• GaSpCT: Gaussian Splatting for Novel CT Projection View Synthesis [0.6990493129893112]
  GaSpCTはコンピュータ・トモグラフィー(CT)スキャンのための新しいプロジェクション・ビューを生成するために使用される新しいビュー合成および3次元シーン表現法である。 我々は,2次元画像投影の限られたセットに基づいて,CTにおける新しいビュー合成を可能にするために,ガウススティングフレームワークを適用した。 我々はParkinson's Progression Markers Initiative (PPMI)データセットから脳CTスキャンを用いてモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-04T00:28:50Z)
• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• 2D GANs Meet Unsupervised Single-view 3D Reconstruction [21.93671761497348]
  事前訓練されたGANに基づく制御可能な画像生成は、幅広いコンピュータビジョンタスクに役立てることができる。 本稿では,GAN生成した多視点画像から2次元の監視を活用できる新しい画像条件のニューラル暗黙界を提案する。 提案手法の有効性は,ジェネリックオブジェクトのより優れた1次元3次元再構成結果によって示される。
  論文  参考訳（メタデータ） (2022-07-20T20:24:07Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。