論文の概要: 360Roam: Real-Time Indoor Roaming Using Geometry-Aware ${360^\circ}$
Radiance Fields
- arxiv url: http://arxiv.org/abs/2208.02705v1
- Date: Thu, 4 Aug 2022 15:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:46:52.037973
- Title: 360Roam: Real-Time Indoor Roaming Using Geometry-Aware ${360^\circ}$
Radiance Fields
- Title(参考訳): 360Roam:Geometry-Aware ${360^\circ}$ Radiance Fieldsを用いた実時間室内ローミング
- Authors: Huajian Huang, Yingshu Chen, Tianjian Zhang and Sai-Kit Yeung
- Abstract要約: 我々は,大規模な屋内シーンの画像をリアルタイムで合成し,VRローミングを支援する新しいNeRFシステムである360Roamを提案する。
我々のシステムはまず、複数の入力360円の画像から全方位のニューラルラジアンス場360NeRFを構築した。
- 参考スコア(独自算出の注目度): 11.878077736295863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance field (NeRF) has recently achieved impressive results in
novel view synthesis. However, previous works on NeRF mainly focus on
object-centric scenarios. In this work, we propose 360Roam, a novel scene-level
NeRF system that can synthesize images of large-scale indoor scenes in real
time and support VR roaming. Our system first builds an omnidirectional neural
radiance field 360NeRF from multiple input $360^\circ$ images. Using 360NeRF,
we then progressively estimate a 3D probabilistic occupancy map which
represents the scene geometry in the form of spacial density. Skipping empty
spaces and upsampling occupied voxels essentially allows us to accelerate
volume rendering by using 360NeRF in a geometry-aware fashion. Furthermore, we
use an adaptive divide-and-conquer strategy to slim and fine-tune the radiance
fields for further improvement. The floorplan of the scene extracted from the
occupancy map can provide guidance for ray sampling and facilitate a realistic
roaming experience. To show the efficacy of our system, we collect a
$360^\circ$ image dataset in a large variety of scenes and conduct extensive
experiments. Quantitative and qualitative comparisons among baselines
illustrated our predominant performance in novel view synthesis for complex
indoor scenes.
- Abstract(参考訳): ニューラルレイディアンス場(NeRF)は近年,新しいビュー合成において顕著な成果を上げている。
しかし、以前のnrfの研究は主にオブジェクト中心のシナリオに焦点を当てている。
本研究では,大規模な屋内シーンの画像をリアルタイムで合成し,VRローミングを支援する新しいシーンレベルのNeRFシステムである360Roamを提案する。
本システムはまず,複数入力360^\circ$画像から全方位神経放射場360NeRFを構築する。
360nerfを用いて,空間密度の形でシーン形状を表す3次元確率的占有率マップを漸進的に推定する。
空き空間をスキッピングし,占有されたボクセルをアップサンプリングすることで,360NeRFを幾何学的手法でボリュームレンダリングを高速化することができる。
さらに,さらなる改良のために,ラミアンス場をスリムかつ微調整するために適応的分割・変換戦略を用いる。
占有地図から抽出したシーンのフロアプランは、レイサンプリングのガイダンスを提供し、リアルなローミング体験を促進することができる。
本システムの有効性を示すため,様々な場面で360^\circ$の画像データセットを収集し,広範な実験を行った。
複雑な室内シーンにおける新しい視点合成において,ベースライン間の定量的・定性的な比較を行った。
関連論文リスト
- Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。
各種タスクにおけるMesh2NeRFの有効性を検証する。
論文 参考訳(メタデータ) (2024-03-28T11:22:53Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - Local Implicit Ray Function for Generalizable Radiance Field
Representation [20.67358742158244]
本稿では、新しいビューレンダリングのための一般化可能なニューラルレンダリング手法であるLIRF(Local Implicit Ray Function)を提案する。
円錐体フラスタム内の3次元位置が与えられると、LIRFは3次元座標と円錐体フラスタムの特徴を入力として取り、局所体積放射場を予測する。
座標は連続しているため、LIRFはボリュームレンダリングを通じて、高品質の新規ビューを継続的に評価する。
論文 参考訳(メタデータ) (2023-04-25T11:52:33Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via
Raytracing in Neural SDFs [31.968515496970312]
I$2$-SDFは、ニューラルサインされた距離場(SDF)上でのモンテカルロ線トレーシングを用いた内在的な屋内シーン再構成と編集のための新しい方法である。
大規模屋内シーンの再現性を向上させるため,細粒度小物体に対する新しい気泡損失と誤り誘導適応サンプリング方式を導入する。
論文 参考訳(メタデータ) (2023-03-14T05:29:34Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2021-11-29T15:58:16Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。