論文の概要: Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping

• arxiv url: http://arxiv.org/abs/2304.14301v1
• Date: Thu, 27 Apr 2023 16:07:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 12:40:48.984025
• Title: Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping
• Title（参考訳）: HoloLensとInstant-NeRFを組み合わせる - 高度なリアルタイム3Dモバイルマッピング
• Authors: Dennis Haitz, Boris Jutzi, Markus Ulrich, Miriam Jaeger, Patrick Huebner
• Abstract要約: 我々は、HoloLensから取得したデータを用いて、ニューラルネットワークのシーン表現としてNeRF(Neural Radiance Field)をリアルタイムで訓練する。 データストリームが終了すると、トレーニングが停止し、3D再構成が開始され、シーンの点雲が抽出される。 この3次元再構成法は,複数桁のNeRFを用いた格子点サンプリングよりも優れる。
• 参考スコア（独自算出の注目度）: 4.619828919345114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work represents a large step into modern ways of fast 3D reconstruction based on RGB camera images. Utilizing a Microsoft HoloLens 2 as a multisensor platform that includes an RGB camera and an inertial measurement unit for SLAM-based camera-pose determination, we train a Neural Radiance Field (NeRF) as a neural scene representation in real-time with the acquired data from the HoloLens. The HoloLens is connected via Wifi to a high-performance PC that is responsible for the training and 3D reconstruction. After the data stream ends, the training is stopped and the 3D reconstruction is initiated, which extracts a point cloud of the scene. With our specialized inference algorithm, five million scene points can be extracted within 1 second. In addition, the point cloud also includes radiometry per point. Our method of 3D reconstruction outperforms grid point sampling with NeRFs by multiple orders of magnitude and can be regarded as a complete real-time 3D reconstruction method in a mobile mapping setup.
• Abstract（参考訳）: この研究は、RGBカメラ画像に基づく高速3D再構成の現代的方法への大きな一歩である。 Microsoft HoloLens 2 を RGB カメラと SLAM ベースのカメラ配置決定のための慣性測定ユニットを含むマルチセンサプラットフォームとして活用することにより,HoloLens から取得したデータをリアルタイムでニューラル・ラジアンス・フィールド (NeRF) をニューラル・シーン表現として訓練する。 HoloLensはWifi経由で、トレーニングと3D再構成を担当する高性能PCに接続される。 データストリームが終了すると、トレーニングが停止し、3D再構成が開始され、シーンの点雲が抽出される。 特殊推論アルゴリズムでは,500万のシーンポイントを1秒以内に抽出できる。 さらに、点雲は点当たりの放射計も含む。 筆者らの3次元再構成法は,複数桁のNeRFを用いた格子点サンプリングよりも優れており,移動体マッピング装置における完全リアルタイム3次元再構成法とみなすことができる。

関連論文リスト

• HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2 [1.1874952582465603]
  私たちは、Microsoft HoloLens 2の能力をインスタント3Dガウススプレイティングに活用しています。 HoloLensセンサーデータを利用した新しいワークフローであるHoloGSを紹介し、前処理ステップの必要性を回避した。 文化遺産像の屋外シーンと細構造植物室内シーンの2つの自撮りシーンに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-05-03T11:08:04Z)
• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D Images in Unsupervised Reconstruction [2.7848140839111903]
  UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。 私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。 UNeR3Dはシームレスな色遷移を保証し、視力を高める。
  論文  参考訳（メタデータ） (2023-12-10T15:18:55Z)
• Neural Implicit Dense Semantic SLAM [83.04331351572277]
  本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。 私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。 提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
  論文  参考訳（メタデータ） (2023-04-27T23:03:52Z)
• A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion [0.0]
  我々はNeural Radiance Fields (NeRFs) を用いたHoloLensデータから直接の高分解能3次元再構成のためのワークフローを提案する。 NeRFは、カメラのポーズと関連する画像のセットを入力としてトレーニングし、各位置の密度と色値を推定する。 その結果、内部カメラのポーズは、x軸のまわりを単純な回転で25dBのPSNRでNeRF収束し、3D再構成を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-04-20T22:17:28Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• Points2NeRF: Generating Neural Radiance Fields from 3D point cloud [0.0]
  ニューラルラジアンス場(NeRF)として3次元物体を表現することを提案する。 ハイパーネットワークのパラダイムを活用して、モデルをトレーニングして、関連するカラー値を持つ3Dポイントクラウドを取ります。 提案手法は効率的な3次元オブジェクト表現を提供し,既存手法に対するいくつかの利点を提供する。
  論文  参考訳（メタデータ） (2022-06-02T20:23:33Z)
• E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
  3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。 RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。 我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
  論文  参考訳（メタデータ） (2020-12-09T18:23:21Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。