論文の概要: Hallucinated Neural Radiance Fields in the Wild

• arxiv url: http://arxiv.org/abs/2111.15246v2
• Date: Wed, 1 Dec 2021 18:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:07:35.031138
• Title: Hallucinated Neural Radiance Fields in the Wild
• Title（参考訳）: 野生における幻覚的神経放射野
• Authors: Xingyu Chen, Qi Zhang, Xiaoyu Li, Yue Chen, Ying Feng, Xuan Wang, Jue Wang
• Abstract要約: 本稿では,Ha-NeRFと呼ばれるハロゲン化NeRFを構築するためのエンドツーエンドフレームワークを提案する。 具体的には、時間変化の出現を処理し、それらを新しいビューに転送する外観モジュールを提案する。 合成データと実際の観光写真コレクションによる実験結果から,本手法は希望する外観を幻覚させるだけでなく,異なる視点からオクルージョンフリーな画像を表示できることが示唆された。
• 参考スコア（独自算出の注目度）: 27.93606272808671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) has recently gained popularity for its impressive novel view synthesis ability. This paper studies the problem of hallucinated NeRF: i.e. recovering a realistic NeRF at a different time of day from a group of tourism images. Existing solutions adopt NeRF with a controllable appearance embedding to render novel views under various conditions, but cannot render view-consistent images with an unseen appearance. To solve this problem, we present an end-to-end framework for constructing a hallucinated NeRF, dubbed as Ha-NeRF. Specifically, we propose an appearance hallucination module to handle time-varying appearances and transfer them to novel views. Considering the complex occlusions of tourism images, an anti-occlusion module is introduced to decompose the static subjects for visibility accurately. Experimental results on synthetic data and real tourism photo collections demonstrate that our method can not only hallucinate the desired appearances, but also render occlusion-free images from different views. The project and supplementary materials are available at https://rover-xingyu.github.io/Ha-NeRF/.
• Abstract（参考訳）: Neural Radiance Fields (NeRF)はその印象的なビュー合成能力で最近人気を博している。 本稿では,観光画像群から現実的なNeRFを1日毎に再現する手法として,幻覚型NeRFの問題点について検討する。 既存のソリューションでは、様々な条件下で新しいビューをレンダリングするために、コントロール可能な外観の埋め込みを持つNeRFを採用しているが、見えない外観でビュー一貫性のある画像をレンダリングすることはできない。 この問題を解決するために,Ha-NeRFと呼ばれる幻覚型NeRFを構築するためのエンドツーエンドフレームワークを提案する。 具体的には,時間変化を処理し,新たな視点に伝達する出現幻覚モジュールを提案する。 観光画像の複雑なオクルージョンを考慮し,静的被写体を正確に分解して視認性を高めるためのアンチオクルージョンモジュールを導入した。 合成データと実際の観光写真コレクションによる実験結果から,本手法は希望する外観を幻覚させるだけでなく,異なる視点からオクルージョンフリーな画像を表示できることが示唆された。 プロジェクトと追加資料はhttps://rover-xingyu.github.io/Ha-NeRF/で公開されている。

関連論文リスト

• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
  我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。 我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。 StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
  論文  参考訳（メタデータ） (2022-12-03T12:14:19Z)
• Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation [35.47411859184933]
  本研究では,(1)トレーニング画像が対象をうまく表現できる,(2)トレーニング画像とテスト視点の分布との間には顕著な相違点がある,という新しい視点外挿設定について検討する。 ランダムな光線キャスティングポリシーを提案する。 観測された光線の視方向から予め計算された光アトラスは、外挿された視界のレンダリング品質をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-05-12T07:21:17Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
  数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。 NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。 我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:31Z)
• Baking Neural Radiance Fields for Real-Time View Synthesis [41.07052395570522]
  我々は、NeRFをトレーニングし、プリコンプリートし、保存する(すなわち)方法を提案する。 「ベイク」はスパースニューラルネットワーク放射格子(snerg)と呼ばれる新しい表現である。 結果として生じるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの能力を保持し、コンパクトであり、リアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2021-03-26T17:59:52Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)
• NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections [47.9463405062868]
  本研究では,非構造化画像のみを用いて,複雑なシーンの新たなビューを合成する学習的手法を提案する。 我々は、多層パーセプトロンの重みを利用して、シーンの密度と色を3次元座標の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 我々はこれらの問題に対処するために、NeRFの一連の拡張を導入し、インターネットから取得した非構造化画像からの正確な再構築を可能にする。
  論文  参考訳（メタデータ） (2020-08-05T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。