論文の概要: 360FusionNeRF: Panoramic Neural Radiance Fields with Joint Guidance
- arxiv url: http://arxiv.org/abs/2209.14265v1
- Date: Wed, 28 Sep 2022 17:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 17:33:07.777969
- Title: 360FusionNeRF: Panoramic Neural Radiance Fields with Joint Guidance
- Title（参考訳）: 360FusionNeRF: 関節誘導型パノラマ神経放射場
- Authors: Shreyas Kulkarni, Peng Yin, and Sebastian Scherer
- Abstract要約: ニューラル放射場(NeRF)に基づくパノラマ画像から360円の新規なビューを合成する方法を提案する。
トレーニングプロセスの指導に幾何学的監督と意味的整合性を導入するための半教師付き学習フレームワークである360FusionNeRFを提案する。
- 参考スコア（独自算出の注目度）: 6.528382036284374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method to synthesize novel views from a single $360^\circ$
panorama image based on the neural radiance field (NeRF). Prior studies in a
similar setting rely on the neighborhood interpolation capability of
multi-layer perceptions to complete missing regions caused by occlusion, which
leads to artifacts in their predictions. We propose 360FusionNeRF, a
semi-supervised learning framework where we introduce geometric supervision and
semantic consistency to guide the progressive training process. Firstly, the
input image is re-projected to $360^\circ$ images, and auxiliary depth maps are
extracted at other camera positions. The depth supervision, in addition to the
NeRF color guidance, improves the geometry of the synthesized views.
Additionally, we introduce a semantic consistency loss that encourages
realistic renderings of novel views. We extract these semantic features using a
pre-trained visual encoder such as CLIP, a Vision Transformer trained on
hundreds of millions of diverse 2D photographs mined from the web with natural
language supervision. Experiments indicate that our proposed method can produce
plausible completions of unobserved regions while preserving the features of
the scene. When trained across various scenes, 360FusionNeRF consistently
achieves the state-of-the-art performance when transferring to synthetic
Structured3D dataset (PSNR~5%, SSIM~3% LPIPS~13%), real-world Matterport3D
dataset (PSNR~3%, SSIM~3% LPIPS~9%) and Replica360 dataset (PSNR~8%, SSIM~2%
LPIPS~18%).
- Abstract（参考訳）: ニューラルラジアンス場(NeRF)に基づくパノラマ画像1枚360^\circ$パノラマ画像から,新規なビューを合成する方法を提案する。
同様の環境での先行研究は、多層知覚の近傍補間能力から、閉塞によって引き起こされる欠落した領域の完全な補間能力に頼っている。
プログレッシブトレーニングプロセスを導くために,幾何学的監督と意味的一貫性を導入する半教師付き学習フレームワークである360fusionnerfを提案する。
まず、入力画像を360^\circ$イメージに再投影し、他のカメラ位置で補助深度マップを抽出する。
奥行き監視は、NeRFカラーガイダンスに加えて、合成されたビューの幾何学性を改善する。
さらに,新しいビューのリアルなレンダリングを促進するセマンティック一貫性損失を導入する。
自然言語によるwebから採取された何億枚もの多様な2d写真に基づいてトレーニングされた視覚トランスフォーマであるclipなどの事前学習されたビジュアルエンコーダを用いて,これらの意味的特徴を抽出する。
実験により,提案手法はシーンの特徴を保ちながら,未観測領域の可観測完了を生成できることが示唆された。
360FusionNeRFは、さまざまな場面でトレーニングされると、合成Structured3Dデータセット(PSNR~5%、SSIM~3%LPIPS~13%)、現実世界のMatterport3Dデータセット(PSNR~3%、SSIM~3%LPIPS~9%)、Replica360データセット(PSNR~8%、SSIM~2%LPIPS~18%)への転送時の最先端のパフォーマンスを一貫して達成します。
関連論文リスト
- CUBE360: Learning Cubic Field Representation for Monocular 360 Depth Estimation for Virtual Reality [32.023283261191104]
CUBE360は、1つのパノラマ画像から複数のMPIからなる立方体場を学習し、任意の視野方向の深さ推定を行う。
合成と実世界の両方のデータセットの実験は、従来のSSL方式と比較してCUBE360の優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-08T06:52:46Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳（メタデータ） (2023-12-05T18:59:58Z) - rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
論文 参考訳（メタデータ） (2023-10-11T04:05:11Z) - ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for
Sparse View Synthesis [99.06490355990354]
本研究では,深度情報を利用して画素間のマルチビューとシングルビューの3D整合性を調整する手法であるConsistentNeRFを提案する。
提案手法は,PSNRが94%,SSIMが31%,LPIPSが31%,疎視条件下でのモデル性能を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-05-18T15:18:01Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳（メタデータ） (2023-04-20T17:59:52Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳（メタデータ） (2022-07-23T09:03:13Z) - Enhancement of Novel View Synthesis Using Omnidirectional Image
Completion [61.78187618370681]
ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。
実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
論文 参考訳（メタデータ） (2022-03-18T13:49:25Z) - Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。
NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。
我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
論文 参考訳（メタデータ） (2021-04-01T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。