論文の概要: Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
- arxiv url: http://arxiv.org/abs/2211.12436v1
- Date: Tue, 22 Nov 2022 17:45:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:38:11.437423
- Title: Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
- Title（参考訳）: 多視点RGB-Dオペレーティングルーム画像のための深さスーパービジョンNeRF
- Authors: Beerend G.A. Gerats, Jelmer M. Wolterink, Ivo A.M.J. Broeders
- Abstract要約: この研究は、手術室での視線合成にNeRFをどのように使用できるかを示す。
NeRFは、静止カメラで撮影した画像から3Dシーンを復元する強力な技術である。
ビデオ合成とトレーニングのスピードアップのためのNeRFのような最近の開発は、その潜在能力を明らかにするためにさらなる探索を必要としている。
- 参考スコア（独自算出の注目度）: 2.486571221735935
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural Radiance Fields (NeRF) is a powerful novel technology for the
reconstruction of 3D scenes from a set of images captured by static cameras.
Renders of these reconstructions could play a role in virtual presence in the
operating room (OR), e.g. for training purposes. In contrast to existing
systems for virtual presence, NeRF can provide real instead of simulated
surgeries. This work shows how NeRF can be used for view synthesis in the OR. A
depth-supervised NeRF (DS-NeRF) is trained with three or five synchronised
cameras that capture the surgical field in knee replacement surgery videos from
the 4D-OR dataset. The algorithm is trained and evaluated for images in five
distinct phases before and during the surgery. With qualitative analysis, we
inspect views synthesised by a virtual camera that moves in 180 degrees around
the surgical field. Additionally, we quantitatively inspect view synthesis from
an unseen camera position in terms of PSNR, SSIM and LPIPS for the colour
channels and in terms of MAE and error percentage for the estimated depth.
DS-NeRF generates geometrically consistent views, also from interpolated camera
positions. Views are generated from an unseen camera pose with an average PSNR
of 17.8 and a depth estimation error of 2.10%. However, due to artefacts and
missing of fine details, the synthesised views do not look photo-realistic. Our
results show the potential of NeRF for view synthesis in the OR. Recent
developments, such as NeRF for video synthesis and training speedups, require
further exploration to reveal its full potential.
- Abstract（参考訳）: neural radiance fields (nerf)は、静止カメラで撮影された一連の画像から3dシーンを再構成する強力な技術である。
これらの再構成のレンダリングは、例えばトレーニング目的で、手術室(OR)における仮想的な存在の役割を果たす可能性がある。
仮想存在のための既存のシステムとは対照的に、NeRFはシミュレートされた手術の代わりにリアルを提供することができる。
この研究は、ORにおけるビュー合成にNeRFをどのように使用できるかを示す。
深度監視型NeRF(DS-NeRF)は4D-ORデータセットから膝置換手術ビデオの手術現場を撮影する3つまたは5つの同期カメラで訓練される。
このアルゴリズムは、手術前後の5つの異なるフェーズで画像の訓練と評価を行う。
定性的解析により,手術現場周辺を180度移動した仮想カメラで合成した映像を検査する。
さらに,色チャネルのPSNR,SSIM,LPIPS,推定深度に対するMAE,誤差率の観点から,見えないカメラ位置からの視線合成を定量的に検討する。
DS-NeRFは、補間カメラ位置からも幾何的に一貫したビューを生成する。
ビューは、平均PSNR17.8、深さ推定誤差2.10%の、見えないカメラのポーズから生成される。
しかし、人工物や細部が欠落しているため、合成されたビューはフォトリアリスティックに見えない。
ORにおける視線合成におけるNeRFの可能性を示す。
ビデオ合成とトレーニングのスピードアップのためのNeRFのような最近の開発は、その潜在能力を明らかにするためにさらなる探索を必要としている。
関連論文リスト
- Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - UC-NeRF: Neural Radiance Field for Under-Calibrated Multi-view Cameras
in Autonomous Driving [32.03466915786333]
UC-NeRFは、アンダーキャリブレーションされたマルチビューカメラシステムにおいて、新しいビュー合成に適した新しい方法である。
異なる画像領域における色の不整合を補正する階層ベースの色補正を提案する。
第2に,色補正と3次元回復のために,より視点が多様だが一貫したビューを生成する仮想ワープを提案する。
論文 参考訳（メタデータ） (2023-11-28T16:47:59Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection [90.35085487641773]
低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
複雑な処理機構を使わずにこれらの成果物を削減できる学習ベースシステムを提案する。
論文 参考訳（メタデータ） (2023-08-29T17:40:57Z) - A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses
from HoloLens Trajectories and Structure from Motion [0.0]
我々はNeural Radiance Fields (NeRFs) を用いたHoloLensデータから直接の高分解能3次元再構成のためのワークフローを提案する。
NeRFは、カメラのポーズと関連する画像のセットを入力としてトレーニングし、各位置の密度と色値を推定する。
その結果、内部カメラのポーズは、x軸のまわりを単純な回転で25dBのPSNRでNeRF収束し、3D再構成を可能にすることがわかった。
論文 参考訳（メタデータ） (2023-04-20T22:17:28Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Ev-NeRF: Event Based Neural Radiance Field [8.78321125097048]
Ev-NeRFは、イベントデータから派生したニューラル放射場である。
Ev-NeRFは、超音環境下での高強度画像再構成において、競合性能を実現する。
論文 参考訳（メタデータ） (2022-06-24T18:27:30Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳（メタデータ） (2021-09-30T17:12:59Z) - NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。
RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:52:34Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。