論文の概要: ImmersiveNeRF: Hybrid Radiance Fields for Unbounded Immersive Light
Field Reconstruction
- arxiv url: http://arxiv.org/abs/2309.01374v1
- Date: Mon, 4 Sep 2023 05:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 19:41:36.091969
- Title: ImmersiveNeRF: Hybrid Radiance Fields for Unbounded Immersive Light
Field Reconstruction
- Title(参考訳): immersivenerf:unbounded immersive light field reconstructionのためのハイブリッド放射場
- Authors: Xiaohang Yu, Haoxiang Wang, Yuqi Han, Lei Yang, Tao Yu, and Qionghai
Dai
- Abstract要約: 本稿では,入射光場再構成のためのハイブリッド放射場表現を提案する。
我々は2つの異なる空間マッピング戦略を持つ2つの別々の放射場として、前景と背景を表現している。
また、THUImmersiveという新しい没入型光フィールドデータセットも提供し、より広い空間6DoFの没入型レンダリング効果を実現する可能性を秘めている。
- 参考スコア(独自算出の注目度): 32.722973192853296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a hybrid radiance field representation for unbounded
immersive light field reconstruction which supports high-quality rendering and
aggressive view extrapolation. The key idea is to first formally separate the
foreground and the background and then adaptively balance learning of them
during the training process. To fulfill this goal, we represent the foreground
and background as two separate radiance fields with two different spatial
mapping strategies. We further propose an adaptive sampling strategy and a
segmentation regularizer for more clear segmentation and robust convergence.
Finally, we contribute a novel immersive light field dataset, named
THUImmersive, with the potential to achieve much larger space 6DoF immersive
rendering effects compared with existing datasets, by capturing multiple
neighboring viewpoints for the same scene, to stimulate the research and AR/VR
applications in the immersive light field domain. Extensive experiments
demonstrate the strong performance of our method for unbounded immersive light
field reconstruction.
- Abstract(参考訳): 本稿では,高画質レンダリングとアグレッシブビュー外挿をサポートする非バウンド没入光場再構成のためのハイブリッド放射場表現を提案する。
鍵となるアイデアは、まず前景と背景を正式に分離し、トレーニングプロセス中に学習を適応的にバランスさせることです。
この目的を達成するために、前景と背景を2つの異なる空間マッピング戦略を持つ2つの異なる放射場として表現する。
さらに,より明確なセグメンテーションとロバスト収束のためのアダプティブサンプリング戦略とセグメンテーション正規化器を提案する。
最後に, THUImmersive という新しい没入型光フィールドデータセットを, 既存のデータセットと比較してはるかに大きな空間 6DoF の没入型レンダリング効果を達成し, 同一シーンにおける複数の隣接視点を捉え, 没入型光フィールド領域における研究とAR/VR応用の促進に寄与する。
広汎な実験により, 非有界没入光場再構成法の性能が向上した。
関連論文リスト
- Unsupervised Learning of High-resolution Light Field Imaging via Beam
Splitter-based Hybrid Lenses [42.5604477188514]
ビームスプリッタを用いたハイブリッド光フィールドイメージングプロトタイプを設計し、4次元光フィールド画像と高分解能2次元画像とを同時に記録する。
2次元画像は、4次元光場画像の低分解能中心部分開口像に対応する高分解能基底真理とみなすことができる。
ハイブリッド光場データセットを用いた教師なし学習に基づく超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-29T10:30:02Z) - NeLF-Pro: Neural Light Field Probes [30.75238904977802]
NeLF-Proは、様々な自然界の光場をモデリングし、再構成するための新しい表現である。
世界の3Dシーンを高速に再現する手法とは対照的に,シーンの光場を局所的な光場特徴プローブの集合としてモデル化する。
論文 参考訳(メタデータ) (2023-12-20T17:18:44Z) - Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video [19.0733297053322]
本稿では,大域的幾何情報とボリュームレンダリング処理を,それぞれニューラルネットワークと動的放射場を用いて学習する点ベース動的放射場について紹介する。
具体的には、幾何学的プロキシから直接ニューラルポイント雲を再構成し、提案した損失を用いて放射場と幾何学的プロキシの両方を最適化する。
提案手法の有効性をNVIDIA Dynamic Scenesデータセットと因果的に捉えたモノクロビデオクリップを用いて検証した。
論文 参考訳(メタデータ) (2023-10-14T19:27:46Z) - Dynamic Mesh-Aware Radiance Fields [75.59025151369308]
本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。
ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-08T20:18:18Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - TensoIR: Tensorial Inverse Rendering [53.51211939277516]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-04-24T21:39:13Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - DoubleField: Bridging the Neural Surface and Radiance Fields for
High-fidelity Human Rendering [43.12198563879908]
DoubleFieldは、高忠実な人間のレンダリングのための表面場と放射場の両方の利点を組み合わせた表現である。
DoubleFieldは、幾何学と外見モデリングのための連続的だが非絡み合いの学習空間を持ち、高速なトレーニング、推論、微調整をサポートする。
DoubleFieldの有効性は、複数のデータセットの定量的評価と、実世界のスパースマルチビューシステムにおける質的な結果によって検証される。
論文 参考訳(メタデータ) (2021-06-07T17:08:17Z) - Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。
本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。
我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
論文 参考訳(メタデータ) (2021-02-14T06:44:47Z) - Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network [101.59693839475783]
そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。
提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
論文 参考訳(メタデータ) (2020-02-26T02:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。