論文の概要: 360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields

• arxiv url: http://arxiv.org/abs/2208.02705v2
• Date: Tue, 28 Nov 2023 16:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 17:42:59.600213
• Title: 360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
• Title（参考訳）: 360Roam:360$^\circ$放射場を利用した実時間室内ローミング
• Authors: Huajian Huang, Yingshu Chen, Tianjia Zhang and Sai-Kit Yeung
• Abstract要約: 平滑で没入的なローミング体験を妨げつつ、スパルス360ドルの画像間の仮想ツアーが広く利用されている。 本稿では,局所放射場を適応的に割り当てた幾何認識放射場を用いた新しいアプローチを提案する。 本システムは、位置符号化とコンパクトニューラルネットワークを有効利用して、精度と速度を向上する。
• 参考スコア（独自算出の注目度）: 18.295768486318313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Virtual tour among sparse 360$^\circ$ images is widely used while hindering smooth and immersive roaming experiences. The emergence of Neural Radiance Field (NeRF) has showcased significant progress in synthesizing novel views, unlocking the potential for immersive scene exploration. Nevertheless, previous NeRF works primarily focused on object-centric scenarios, resulting in noticeable performance degradation when applied to outward-facing and large-scale scenes due to limitations in scene parameterization. To achieve seamless and real-time indoor roaming, we propose a novel approach using geometry-aware radiance fields with adaptively assigned local radiance fields. Initially, we employ multiple 360$^\circ$ images of an indoor scene to progressively reconstruct explicit geometry in the form of a probabilistic occupancy map, derived from a global omnidirectional radiance field. Subsequently, we assign local radiance fields through an adaptive divide-and-conquer strategy based on the recovered geometry. By incorporating geometry-aware sampling and decomposition of the global radiance field, our system effectively utilizes positional encoding and compact neural networks to enhance rendering quality and speed. Additionally, the extracted floorplan of the scene aids in providing visual guidance, contributing to a realistic roaming experience. To demonstrate the effectiveness of our system, we curated a diverse dataset of 360$^\circ$ images encompassing various real-life scenes, on which we conducted extensive experiments. Quantitative and qualitative comparisons against baseline approaches illustrated the superior performance of our system in large-scale indoor scene roaming.
• Abstract（参考訳）: スパース360$^\circ$画像間の仮想ツアーは、滑らかで没入的なローミング体験を妨げながら広く使われている。 ニューラル・レージアンス・フィールド(NeRF)の出現は、新しいビューの合成において大きな進歩を示し、没入型シーン探索の可能性を解き放った。 それでも、以前のNeRFは主にオブジェクト中心のシナリオに焦点を当てており、シーンパラメータ化の制限により、外向きのシーンや大規模シーンに適用した場合、顕著なパフォーマンス劣化が生じる。 室内のローミングをシームレスかつリアルタイムに行うために,局所放射場を適応的に割り当てた幾何認識放射場を用いた新しいアプローチを提案する。 当初は,グローバル全方位放射場から導かれる確率的占有マップの形で,複数の屋内シーンの360$^\circ$画像を用いて,鮮明な幾何学を段階的に再構築する。 次に,局所放射場を,復元された幾何学に基づいて適応的な分割・探索戦略によって割り当てる。 ジオメトリ対応のサンプリングと大域ラディアンス場の分解を取り入れることで,位置符号化とコンパクトニューラルネットワークを効果的に活用し,レンダリング品質と速度を向上させる。 さらに、シーンの抽出されたフロアプランは視覚的ガイダンスを提供し、リアルなローミング体験に寄与する。 本システムの有効性を実証するため,様々な実写シーンを含む360$^\circ$画像の多様なデータセットをキュレートし,広範な実験を行った。 大規模屋内シーンローミングにおいて,ベースラインアプローチとの比較により,システムの性能が向上したことを示す。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Local Implicit Ray Function for Generalizable Radiance Field Representation [20.67358742158244]
  本稿では、新しいビューレンダリングのための一般化可能なニューラルレンダリング手法であるLIRF(Local Implicit Ray Function)を提案する。 円錐体フラスタム内の3次元位置が与えられると、LIRFは3次元座標と円錐体フラスタムの特徴を入力として取り、局所体積放射場を予測する。 座標は連続しているため、LIRFはボリュームレンダリングを通じて、高品質の新規ビューを継続的に評価する。
  論文  参考訳（メタデータ） (2023-04-25T11:52:33Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs [31.968515496970312]
  I$2$-SDFは、ニューラルサインされた距離場(SDF)上でのモンテカルロ線トレーシングを用いた内在的な屋内シーン再構成と編集のための新しい方法である。 大規模屋内シーンの再現性を向上させるため,細粒度小物体に対する新しい気泡損失と誤り誘導適応サンプリング方式を導入する。
  論文  参考訳（メタデータ） (2023-03-14T05:29:34Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。