論文の概要: Self-Calibrating Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2108.13826v2
• Date: Thu, 2 Sep 2021 13:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 10:31:49.579905
• Title: Self-Calibrating Neural Radiance Fields
• Title（参考訳）: 自己調整型神経放射場
• Authors: Yoonwoo Jeong, Seokjun Ahn, Christopher Choy, Animashree Anandkumar, Minsu Cho, Jaesik Park
• Abstract要約: キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
• 参考スコア（独自算出の注目度）: 68.64327335620708
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we propose a camera self-calibration algorithm for generic cameras with arbitrary non-linear distortions. We jointly learn the geometry of the scene and the accurate camera parameters without any calibration objects. Our camera model consists of a pinhole model, a fourth order radial distortion, and a generic noise model that can learn arbitrary non-linear camera distortions. While traditional self-calibration algorithms mostly rely on geometric constraints, we additionally incorporate photometric consistency. This requires learning the geometry of the scene, and we use Neural Radiance Fields (NeRF). We also propose a new geometric loss function, viz., projected ray distance loss, to incorporate geometric consistency for complex non-linear camera models. We validate our approach on standard real image datasets and demonstrate that our model can learn the camera intrinsics and extrinsics (pose) from scratch without COLMAP initialization. Also, we show that learning accurate camera models in a differentiable manner allows us to improve PSNR over baselines. Our module is an easy-to-use plugin that can be applied to NeRF variants to improve performance. The code and data are currently available at https://github.com/POSTECH-CVLab/SCNeRF.
• Abstract（参考訳）: 本研究では,任意の非線形歪みを有する汎用カメラのためのカメラ自己校正アルゴリズムを提案する。 キャリブレーション対象を必要とせず,シーンの形状と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次半径歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。 従来の自己校正アルゴリズムは、主に幾何学的制約に依存するが、光度整合性も含んでいる。 これはシーンの幾何学を学習し、Neural Radiance Fields(NeRF)を使用します。 また, 複素非線形カメラモデルに幾何学的一貫性を組み込むために, 射影線距離損失関数vizを提案する。 我々は、標準的な実画像データセットにアプローチを検証し、COLMAP初期化なしでカメラの内在性や外在性(目的)をゼロから学習できることを実証する。 また,異なる方法で正確なカメラモデルを学習することで,ベースラインよりもPSNRを向上できることを示す。 私たちのモジュールは簡単に使えるプラグインで、パフォーマンスを改善するためにnerfの変種に適用できます。 コードとデータはhttps://github.com/POSTECH-CVLab/SCNeRFで公開されている。

関連論文リスト

• GeoCalib: Learning Single-image Calibration with Geometric Optimization [89.84142934465685]
  単一の画像から視覚的な手がかりは、焦点距離や重力方向などの内在的および外在的なカメラパラメータを推定するのに役立ちます。 この問題に対する現在のアプローチは、行と消滅点を持つ古典幾何学か、エンドツーエンドで訓練されたディープニューラルネットワークに基づいている。 最適化プロセスを通じて3次元幾何学の普遍的な規則を利用するディープニューラルネットワークであるGeoCalibを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T17:59:55Z)
• Camera Calibration through Geometric Constraints from Rotation and Projection Matrices [4.100632594106989]
  本稿では,カメラの内在的・外在的パラメータを測定するための制約に基づく新たな損失を提案する。 我々の手法は、ニューラルネットワークの学習能力を利用して、望ましいパラメータを推定するハイブリッドアプローチである。 提案手法は,最新のSOTA(State-of-the-art)ベンチマークと比較して,全パラメータにまたがる改善を示す。
  論文  参考訳（メタデータ） (2024-02-13T13:07:34Z)
• How to turn your camera into a perfect pinhole model [0.38233569758620056]
  本稿では,画像からの歪みを除去する前処理ステップを含む新しいアプローチを提案する。 本手法は歪みモデルを仮定する必要がなく, 厳しい歪み画像に適用できる。 このモデルは、多くのアルゴリズムとアプリケーションの深刻なアップグレードを可能にします。
  論文  参考訳（メタデータ） (2023-09-20T13:54:29Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Deep Learning for Camera Calibration and Beyond: A Survey [100.75060862015945]
  カメラキャリブレーションでは、キャプチャされたシーケンスから幾何学的特徴を推測するために、カメラパラメータを推定する。 近年の取り組みでは,手動キャリブレーションの繰り返し作業に代えて,学習ベースのソリューションが活用される可能性が示唆されている。
  論文  参考訳（メタデータ） (2023-03-19T04:00:05Z)
• Multi-task Learning for Camera Calibration [3.274290296343038]
  一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。 カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-11-22T17:39:31Z)
• Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
  汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。 提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
  論文  参考訳（メタデータ） (2021-12-06T19:42:05Z)
• NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
  本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:52:34Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)
• Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
  カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。 Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。 本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
  論文  参考訳（メタデータ） (2020-08-15T02:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。