論文の概要: Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids

• arxiv url: http://arxiv.org/abs/2305.13220v1
• Date: Mon, 22 May 2023 16:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:18:15.790751
• Title: Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids
• Title（参考訳）: global-sparse local-dense grid を用いた高速単眼映像再構成
• Authors: Wei Dong, Chris Choy, Charles Loop, Or Litany, Yuke Zhu, Anima Anandkumar
• Abstract要約: 本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 84.90863397388776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indoor scene reconstruction from monocular images has long been sought after by augmented reality and robotics developers. Recent advances in neural field representations and monocular priors have led to remarkable results in scene-level surface reconstructions. The reliance on Multilayer Perceptrons (MLP), however, significantly limits speed in training and rendering. In this work, we propose to directly use signed distance function (SDF) in sparse voxel block grids for fast and accurate scene reconstruction without MLPs. Our globally sparse and locally dense data structure exploits surfaces' spatial sparsity, enables cache-friendly queries, and allows direct extensions to multi-modal data such as color and semantic labels. To apply this representation to monocular scene reconstruction, we develop a scale calibration algorithm for fast geometric initialization from monocular depth priors. We apply differentiable volume rendering from this initialization to refine details with fast convergence. We also introduce efficient high-dimensional Continuous Random Fields (CRFs) to further exploit the semantic-geometry consistency between scene objects. Experiments show that our approach is 10x faster in training and 100x faster in rendering while achieving comparable accuracy to state-of-the-art neural implicit methods.
• Abstract（参考訳）: モノクロ画像からの屋内シーンの復元は、拡張現実とロボティクスの開発者から長い間求められてきた。 神経野表現の進歩と単分子前駆体は、シーンレベルの表面再構成において顕著な結果をもたらした。 しかし、多層パーセプトロン(mlp)への依存はトレーニングとレンダリングの速度を著しく制限している。 本研究では,sparse voxelブロックグリッドにおける符号付き距離関数 (sdf) を直接使用し,mlpを必要とせず,高速かつ正確なシーン再構成を実現することを提案する。 グローバルに分散し、局所的に密度の高いデータ構造は、表面の空間的スパーシティを活用し、キャッシュフレンドリなクエリを可能にし、カラーやセマンティクスラベルなどのマルチモーダルデータへの直接拡張を可能にします。 この表現を単眼シーンの再構成に適用するために,単眼深度前後の高速幾何初期化のためのスケールキャリブレーションアルゴリズムを開発した。 この初期化から微分可能なボリュームレンダリングを適用し、高速収束で詳細を洗練する。 また,シーンオブジェクト間のセマンティック・ジオメトリの整合性をさらに活用するために,効率的な高次元連続ランダム場(CRF)を導入する。 実験では、トレーニングで10倍、レンダリングで100倍速く、最先端のニューラルネットワークの暗黙的手法に匹敵する精度を実現しています。

関連論文リスト

• NeuV-SLAM: Fast Neural Multiresolution Voxel Optimization for RGBD Dense SLAM [5.709880146357355]
  ニュートラルV-SLAMは,ニュートラル多分解能ボクセルをベースとした,新しい局所化とマッピングパイプラインである。 NeuV-SLAMは超高速収束とインクリメンタル展開機能によって特徴付けられる。
  論文  参考訳（メタデータ） (2024-02-03T04:26:35Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• HI-SLAM: Monocular Real-time Dense Mapping with Hybrid Implicit Fields [11.627951040865568]
  最近のニューラルマッピングフレームワークは有望な結果を示しているが、RGB-Dやポーズ入力に依存している。 我々のアプローチは、高密度SLAMとニューラル暗黙の場を統合する。 ニューラルネットワークの効率的な構築には,マルチレゾリューショングリッド符号化と符号付き距離関数を用いる。
  論文  参考訳（メタデータ） (2023-10-07T12:26:56Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• NeuralBlox: Real-Time Neural Representation Fusion for Robust Volumetric Mapping [29.3378360000956]
  本稿では,ニューラル暗黙表現の最近の進歩を活かした新しい3次元マッピング手法を提案する。 ニューラルな暗黙表現をインクリメンタルに構築し、更新するための融合戦略とトレーニングパイプラインを提案する。 インクリメンタルに構築された占有マップは,CPU上でもリアルタイムに取得可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-18T15:45:05Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。