論文の概要: Dynamic Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
- arxiv url: http://arxiv.org/abs/2211.12436v2
- Date: Wed, 30 Aug 2023 08:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 18:05:09.667144
- Title: Dynamic Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
- Title（参考訳）: 多視点RGB-Dオペレーティングルーム画像のための動的深度スーパービジョンNeRF
- Authors: Beerend G.A. Gerats, Jelmer M. Wolterink, Ivo A.M.J. Broeders
- Abstract要約: 手術室内の任意のカメラ位置から合成ビューを描画するためにNeRFが使用できることを示す。
RGB-Dセンサデータからの奥行き監視による正規化により画像品質が向上することを示す。
以上の結果から,ORにおける視線合成のための動的NeRFの可能性と,臨床現場における深度管理の関連性を強調した。
- 参考スコア（独自算出の注目度）: 1.6451639748812472
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The operating room (OR) is an environment of interest for the development of
sensing systems, enabling the detection of people, objects, and their semantic
relations. Due to frequent occlusions in the OR, these systems often rely on
input from multiple cameras. While increasing the number of cameras generally
increases algorithm performance, there are hard limitations to the number and
locations of cameras in the OR. Neural Radiance Fields (NeRF) can be used to
render synthetic views from arbitrary camera positions, virtually enlarging the
number of cameras in the dataset. In this work, we explore the use of NeRF for
view synthesis of dynamic scenes in the OR, and we show that regularisation
with depth supervision from RGB-D sensor data results in higher image quality.
We optimise a dynamic depth-supervised NeRF with up to six synchronised cameras
that capture the surgical field in five distinct phases before and during a
knee replacement surgery. We qualitatively inspect views rendered by a virtual
camera that moves 180 degrees around the surgical field at differing time
values. Quantitatively, we evaluate view synthesis from an unseen camera
position in terms of PSNR, SSIM and LPIPS for the colour channels and in MAE
and error percentage for the estimated depth. We find that NeRFs can be used to
generate geometrically consistent views, also from interpolated camera
positions and at interpolated time intervals. Views are generated from an
unseen camera pose with an average PSNR of 18.2 and a depth estimation error of
2.0%. Our results show the potential of a dynamic NeRF for view synthesis in
the OR and stress the relevance of depth supervision in a clinical setting.
- Abstract（参考訳）: 操作室(英: operating room, OR)は、人、物、それらの意味的関係を検知できる、センシングシステムの開発に関心のある環境である。
orの頻繁な閉塞のため、これらのシステムは複数のカメラからの入力に依存することが多い。
カメラ数の増加は一般的にアルゴリズムの性能を増加させるが、or内のカメラの数と位置には厳しい制限がある。
Neural Radiance Fields (NeRF) は任意のカメラ位置から合成ビューをレンダリングするために使用することができ、データセット内のカメラの数を事実上増加させる。
本研究では,ORにおける動的シーンの表示合成にNeRFを用いることについて検討し,RGB-Dセンサデータからの奥行き監視による正規化が画像品質の向上をもたらすことを示す。
人工膝関節置換術前後の5段階に分けて,最大6台の同期カメラで手術野を撮影するダイナミックな奥行き監視nrfを最適化した。
我々は,異なる時間値で外科領域を180度動き回る仮想カメラによる視界を定性的に検査する。
カラーチャネルのPSNR, SSIM, LPIPS, MAE, 推定深さの誤差パーセンテージを用いて, 未知のカメラ位置からのビュー合成を定量的に評価した。
また、NeRFは、補間カメラの位置や補間時間間隔から、幾何学的に一貫したビューを生成することができる。
平均psnrが18.2で深度推定誤差が2.0%の未認識カメラポーズからビューを生成する。
以上の結果から,ORにおける視線合成のための動的NeRFの可能性と,臨床現場における深度管理の関連性を強調した。
関連論文リスト
- Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - UC-NeRF: Neural Radiance Field for Under-Calibrated Multi-view Cameras
in Autonomous Driving [32.03466915786333]
UC-NeRFは、アンダーキャリブレーションされたマルチビューカメラシステムにおいて、新しいビュー合成に適した新しい方法である。
異なる画像領域における色の不整合を補正する階層ベースの色補正を提案する。
第2に,色補正と3次元回復のために,より視点が多様だが一貫したビューを生成する仮想ワープを提案する。
論文 参考訳（メタデータ） (2023-11-28T16:47:59Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection [90.35085487641773]
低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
複雑な処理機構を使わずにこれらの成果物を削減できる学習ベースシステムを提案する。
論文 参考訳（メタデータ） (2023-08-29T17:40:57Z) - A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses
from HoloLens Trajectories and Structure from Motion [0.0]
我々はNeural Radiance Fields (NeRFs) を用いたHoloLensデータから直接の高分解能3次元再構成のためのワークフローを提案する。
NeRFは、カメラのポーズと関連する画像のセットを入力としてトレーニングし、各位置の密度と色値を推定する。
その結果、内部カメラのポーズは、x軸のまわりを単純な回転で25dBのPSNRでNeRF収束し、3D再構成を可能にすることがわかった。
論文 参考訳（メタデータ） (2023-04-20T22:17:28Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Ev-NeRF: Event Based Neural Radiance Field [8.78321125097048]
Ev-NeRFは、イベントデータから派生したニューラル放射場である。
Ev-NeRFは、超音環境下での高強度画像再構成において、競合性能を実現する。
論文 参考訳（メタデータ） (2022-06-24T18:27:30Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳（メタデータ） (2021-09-30T17:12:59Z) - NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。
RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:52:34Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。