論文の概要: MirrorNeRF: One-shot Neural Portrait RadianceField from Multi-mirror Catadioptric Imaging

• arxiv url: http://arxiv.org/abs/2104.02607v1
• Date: Tue, 6 Apr 2021 15:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 16:27:46.969653
• Title: MirrorNeRF: One-shot Neural Portrait RadianceField from Multi-mirror Catadioptric Imaging
• Title（参考訳）: MirrorNeRF:Multimiror Catadioptric Imagingによるワンショットニューラルポートレート放射場
• Authors: Ziyu Wang, Liao Wang, Fuqiang Zhao, Minye Wu, Lan Xu, Jingyi Yu
• Abstract要約: MirrorNeRFは、複数の球面ミラーと単一の高解像度デジタルカメラを備えた触媒イメージングシステムを使用したワンショットニューラルネットワークフリービューポイントレンダリングアプローチです。 柔軟なシステム設定による不一致を暗黙的に補償する連続的変位場を学習するために,新しい神経放射場表現を導入する。
• 参考スコア（独自算出の注目度）: 40.795365626968845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photo-realistic neural reconstruction and rendering of the human portrait are critical for numerous VR/AR applications. Still, existing solutions inherently rely on multi-view capture settings, and the one-shot solution to get rid of the tedious multi-view synchronization and calibration remains extremely challenging. In this paper, we propose MirrorNeRF - a one-shot neural portrait free-viewpoint rendering approach using a catadioptric imaging system with multiple sphere mirrors and a single high-resolution digital camera, which is the first to combine neural radiance field with catadioptric imaging so as to enable one-shot photo-realistic human portrait reconstruction and rendering, in a low-cost and casual capture setting. More specifically, we propose a light-weight catadioptric system design with a sphere mirror array to enable diverse ray sampling in the continuous 3D space as well as an effective online calibration for the camera and the mirror array. Our catadioptric imaging system can be easily deployed with a low budget and the casual capture ability for convenient daily usages. We introduce a novel neural warping radiance field representation to learn a continuous displacement field that implicitly compensates for the misalignment due to our flexible system setting. We further propose a density regularization scheme to leverage the inherent geometry information from the catadioptric data in a self-supervision manner, which not only improves the training efficiency but also provides more effective density supervision for higher rendering quality. Extensive experiments demonstrate the effectiveness and robustness of our scheme to achieve one-shot photo-realistic and high-quality appearance free-viewpoint rendering for human portrait scenes.
• Abstract（参考訳）: 人間の肖像画のフォトリアリスティックな神経再構成とレンダリングは、多くのVR/ARアプリケーションに不可欠である。 それでも、既存のソリューションは本質的にマルチビューキャプチャ設定に依存しており、面倒なマルチビュー同期とキャリブレーションを取り除くためのワンショットソリューションは非常に難しい。 本稿では,複数の球面ミラーと1つの高解像度デジタルカメラを備えた立体撮像システムを用いた,単発の神経ポートレート自由視点レンダリング手法であるmirrornerfを提案する。 より具体的には、連続3次元空間における多彩な光サンプリングを可能にする球面ミラーアレイと、カメラとミラーアレイの効果的なオンライン校正を実現する軽量カタディオプトリシステムの設計を提案する。 また, 簡便な日常使用のために, 低コストかつカジュアルキャプチャ機能により, 簡便に触媒イメージングシステムを展開できる。 柔軟なシステム設定による不一致を暗黙的に補償する連続的変位場を学習するために,新しいニューラルウォーピング放射場表現を導入する。 さらに, 自己超越的な手法でカタディプトリデータから得られる固有幾何情報を活用する密度正則化手法を提案し, トレーニング効率を向上するだけでなく, 高いレンダリング品質を実現するために, より効果的な密度監督を行う。 広汎な実験により、人間の肖像画シーンのワンショット写真リアリスティックで高品質な外観自由視点レンダリングを実現するための手法の有効性と堅牢性を示した。

関連論文リスト

• SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
  スパイクカメラは、標準的なカメラよりも明確な利点がある。 スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。 スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
  論文  参考訳（メタデータ） (2024-03-17T13:51:25Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
  実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-10-09T11:46:45Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Single Image Automatic Radial Distortion Compensation Using Deep Convolutional Network [0.12891210250935145]
  本稿では,深部畳み込みニューラルネットワークに基づく単一像の自動レンズ歪み補正法を提案する。 本手法は,スポーツ放送のアプリケーション領域で動作する放射歪みモデルの2つの高次係数を用いて,実時間性能と精度を向上する。
  論文  参考訳（メタデータ） (2021-12-14T13:04:03Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。