論文の概要: Robustifying the Multi-Scale Representation of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2210.04233v1
• Date: Sun, 9 Oct 2022 11:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:39:33.603194
• Title: Robustifying the Multi-Scale Representation of Neural Radiance Fields
• Title（参考訳）: 神経放射場の多スケール表現のロバスト化
• Authors: Nishant Jain, Suryansh Kumar, Luc Van Gool
• Abstract要約: 実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 86.69338893753886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) recently emerged as a new paradigm for object representation from multi-view (MV) images. Yet, it cannot handle multi-scale (MS) images and camera pose estimation errors, which generally is the case with multi-view images captured from a day-to-day commodity camera. Although recently proposed Mip-NeRF could handle multi-scale imaging problems with NeRF, it cannot handle camera pose estimation error. On the other hand, the newly proposed BARF can solve the camera pose problem with NeRF but fails if the images are multi-scale in nature. This paper presents a robust multi-scale neural radiance fields representation approach to simultaneously overcome both real-world imaging issues. Our method handles multi-scale imaging effects and camera-pose estimation problems with NeRF-inspired approaches by leveraging the fundamentals of scene rigidity. To reduce unpleasant aliasing artifacts due to multi-scale images in the ray space, we leverage Mip-NeRF multi-scale representation. For joint estimation of robust camera pose, we propose graph-neural network-based multiple motion averaging in the neural volume rendering framework. We demonstrate, with examples, that for an accurate neural representation of an object from day-to-day acquired multi-view images, it is crucial to have precise camera-pose estimates. Without considering robustness measures in the camera pose estimation, modeling for multi-scale aliasing artifacts via conical frustum can be counterproductive. We present extensive experiments on the benchmark datasets to demonstrate that our approach provides better results than the recent NeRF-inspired approaches for such realistic settings.
• Abstract（参考訳）: neural radiance fields(nerf)は最近、マルチビュー(mv)イメージからのオブジェクト表現の新しいパラダイムとして登場した。 しかし、マルチスケール(MS)画像やカメラのポーズ推定誤差は扱えないため、一般的には、日常のコモディティカメラから捉えたマルチビュー画像に当てはまる。 最近提案されたMip-NeRFは、NeRFのマルチスケールイメージング問題に対処できるが、カメラのポーズ推定誤差は扱えない。 一方,新たに提案するbarfは,nerfを用いてカメラのポーズ問題を解くことができるが,画像がマルチスケールである場合には失敗する。 本稿では,実世界の画像の両問題を同時に克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 シーン剛性の基礎を生かして,NeRFに着想を得たアプローチによるマルチスケール画像効果とカメラ位置推定問題に対処する。 レイスペースのマルチスケール画像による不快なエイリアスアーティファクトを削減するために,mip-nerfマルチスケール表現を利用する。 頑健なカメラポーズのジョイント推定のために,ニューラルネットワークを用いたマルチモーション平均化手法を提案する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、正確なカメラ目的の推定が不可欠であることを示す。 カメラポーズ推定におけるロバスト性尺度を考慮せずに、円錐フラスタムによるマルチスケールエイリアスアーティファクトのモデリングは非生産的である。 我々は、ベンチマークデータセットに関する広範な実験を行い、我々のアプローチが、そのような現実的な設定に対する最近のNeRFにインスパイアされたアプローチよりも優れた結果をもたらすことを示す。

関連論文リスト

• RANRAC: Robust Neural Scene Representations via Random Ray Consensus [12.161889666145127]
  RANRAC(RANdom RAy Consensus)は、一貫性のないデータの影響を排除するための効率的な手法である。 我々はRANSACパラダイムのファジィ適応を定式化し、大規模モデルへの適用を可能にした。 その結果, 新規な視点合成のための最先端のロバストな手法と比較して, 顕著な改善が見られた。
  論文  参考訳（メタデータ） (2023-12-15T13:33:09Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Inverting the Imaging Process by Learning an Implicit Camera Model [73.81635386829846]
  本稿では,ディープニューラルネットワークとしてのカメラの物理画像処理を表現した,新しい暗黙カメラモデルを提案する。 本稿では,この暗黙カメラモデルが2つの逆撮像タスクに与える影響を実演する。
  論文  参考訳（メタデータ） (2023-04-25T11:55:03Z)
• MELON: NeRF with Unposed Images in SO(3) [35.093700416540436]
  ニューラルネットワークは、非提示画像から最先端の精度でニューラルラジアンス場を再構築でき、対向的アプローチの10倍のビューを必要とすることを示す。 ニューラルネットを用いてポーズ推定を正則化することにより,提案手法は非ポーズ画像から最先端の精度でニューラルレイディアンス場を再構築し,敵のアプローチの10倍のビューを要求できることを示した。
  論文  参考訳（メタデータ） (2023-03-14T17:33:39Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。