論文の概要: UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras
in autonomous driving
- arxiv url: http://arxiv.org/abs/2311.16945v1
- Date: Tue, 28 Nov 2023 16:47:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 17:25:31.735674
- Title: UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras
in autonomous driving
- Title（参考訳）: uc-nerf:自律運転におけるマルチビューカメラの光照射場
- Authors: Kai Cheng, Xiaoxiao Long, Wei Yin, Jin Wang, Zhiqiang Wu, Yuexin Ma,
Kaixuan Wang, Xiaozhi Chen, Xuejin Chen
- Abstract要約: UC-NeRFは、アンダーキャリブレーションされたマルチビューカメラシステムにおいて、新しいビュー合成に適した新しい方法である。
異なる画像領域における色の不整合を補正する階層ベースの色補正を提案する。
第2に,色補正と3次元回復のために,より視点が多様だが一貫したビューを生成する仮想ワープを提案する。
- 参考スコア（独自算出の注目度）: 32.03466915786333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-camera setups find widespread use across various applications, such as
autonomous driving, as they greatly expand sensing capabilities. Despite the
fast development of Neural radiance field (NeRF) techniques and their wide
applications in both indoor and outdoor scenes, applying NeRF to multi-camera
systems remains very challenging. This is primarily due to the inherent
under-calibration issues in multi-camera setup, including inconsistent imaging
effects stemming from separately calibrated image signal processing units in
diverse cameras, and system errors arising from mechanical vibrations during
driving that affect relative camera poses. In this paper, we present UC-NeRF, a
novel method tailored for novel view synthesis in under-calibrated multi-view
camera systems. Firstly, we propose a layer-based color correction to rectify
the color inconsistency in different image regions. Second, we propose virtual
warping to generate more viewpoint-diverse but color-consistent virtual views
for color correction and 3D recovery. Finally, a spatiotemporally constrained
pose refinement is designed for more robust and accurate pose calibration in
multi-camera systems. Our method not only achieves state-of-the-art performance
of novel view synthesis in multi-camera setups, but also effectively
facilitates depth estimation in large-scale outdoor scenes with the synthesized
novel views.
- Abstract（参考訳）: マルチカメラのセットアップは、センシング能力を大きく拡大するため、自動運転など、さまざまなアプリケーションで広く使われている。
ニューラルレーダランス場(NeRF)技術の急速な発展と、室内および屋外の両方で広く応用されているにもかかわらず、マルチカメラシステムにNeRFを適用することは依然として非常に難しい。
これは主に、様々なカメラで別々に校正された画像信号処理ユニットから発生する不整合画像効果や、相対的なカメラのポーズに影響を与える運転中の機械的振動によるシステムエラーなど、マルチカメラ装置の過度な校正問題に起因する。
本稿では,多視点カメラシステムにおける新しい視点合成のための新しい手法であるuc-nerfを提案する。
まず,異なる画像領域における色不整合を補正するレイヤベースの色補正を提案する。
第2に,色補正と3次元復元のために,よりパースペクティブでカラー一貫性のある仮想ビューを生成する仮想ワーピングを提案する。
最後に、時空間的に制約されたポーズ補正は、マルチカメラシステムにおいてより堅牢で正確なポーズキャリブレーションのために設計されている。
提案手法は, マルチカメラシステムにおける新規ビュー合成の最先端性能を実現するだけでなく, 大規模屋外シーンの深度推定にも有効である。
関連論文リスト
- Neural Real-Time Recalibration for Infrared Multi-Camera Systems [2.249916681499244]
赤外線マルチカメラシステムのリアルタイム再校正には、学習のない、あるいはニューラルネットワーク技術は存在しない。
動的リアルタイムキャリブレーションが可能なニューラルネットワークに基づく手法を提案する。
論文 参考訳（メタデータ） (2024-10-18T14:37:37Z) - Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems [22.494866649536018]
ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。
以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。
提案するMC-NeRFは,内在パラメータと外在パラメータの両方を,NeRFと併用して共同最適化する手法である。
論文 参考訳（メタデータ） (2023-09-14T16:40:44Z) - SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。
提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
論文 参考訳（メタデータ） (2022-11-21T18:57:47Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - Cross-Camera Deep Colorization [10.254243409261898]
本稿では,カラープラスモノデュアルカメラシステムからの画像の整列と融合を行う,エンドツーエンドの畳み込みニューラルネットワークを提案する。
提案手法は,約10dBPSNRゲインの大幅な改善を継続的に達成する。
論文 参考訳（メタデータ） (2022-08-26T11:02:14Z) - High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。
提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。
実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-29T13:31:28Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。