論文の概要: HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2
- arxiv url: http://arxiv.org/abs/2405.02005v1
- Date: Fri, 3 May 2024 11:08:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 13:05:54.639659
- Title: HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2
- Title（参考訳）: HoloGS:Microsoft HoloLens 2を使ったインスタントディープスベースの3Dガウス撮影
- Authors: Miriam Jäger, Theodor Kapler, Michael Feßenbecker, Felix Birkelbach, Markus Hillemann, Boris Jutzi,
- Abstract要約: 私たちは、Microsoft HoloLens 2の能力をインスタント3Dガウススプレイティングに活用しています。
HoloLensセンサーデータを利用した新しいワークフローであるHoloGSを紹介し、前処理ステップの必要性を回避した。
文化遺産像の屋外シーンと細構造植物室内シーンの2つの自撮りシーンに対するアプローチを評価した。
- 参考スコア（独自算出の注目度）: 1.1874952582465603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the fields of photogrammetry, computer vision and computer graphics, the task of neural 3D scene reconstruction has led to the exploration of various techniques. Among these, 3D Gaussian Splatting stands out for its explicit representation of scenes using 3D Gaussians, making it appealing for tasks like 3D point cloud extraction and surface reconstruction. Motivated by its potential, we address the domain of 3D scene reconstruction, aiming to leverage the capabilities of the Microsoft HoloLens 2 for instant 3D Gaussian Splatting. We present HoloGS, a novel workflow utilizing HoloLens sensor data, which bypasses the need for pre-processing steps like Structure from Motion by instantly accessing the required input data i.e. the images, camera poses and the point cloud from depth sensing. We provide comprehensive investigations, including the training process and the rendering quality, assessed through the Peak Signal-to-Noise Ratio, and the geometric 3D accuracy of the densified point cloud from Gaussian centers, measured by Chamfer Distance. We evaluate our approach on two self-captured scenes: An outdoor scene of a cultural heritage statue and an indoor scene of a fine-structured plant. Our results show that the HoloLens data, including RGB images, corresponding camera poses, and depth sensing based point clouds to initialize the Gaussians, are suitable as input for 3D Gaussian Splatting.
- Abstract（参考訳）: フォトグラメトリー、コンピュータビジョン、コンピュータグラフィックスの分野では、ニューラル3Dシーン再構成の課題が様々な手法の探索に繋がった。
中でも3Dガウシアン・スプラッティングは、3Dガウシアンを用いたシーンの明示的な表現で際立っている。
その可能性によって、我々は、Microsoft HoloLens 2の能力をインスタント3Dガウススプラッティングに活用することを目的として、3Dシーン再構築の領域に取り組みます。
HoloLensセンサデータを利用した新しいワークフローであるHoloGSは、必要な入力データ、すなわち画像、カメラポーズ、奥行き検知からポイントクラウドに即座にアクセスすることで、Structure from Motionのような前処理ステップの必要性を回避します。
我々は、ピーク信号対ノイズ比を用いて評価されたトレーニングプロセスとレンダリング品質、およびシャンファー距離で測定されたガウス中心からの密度化点雲の幾何学的3次元精度など、総合的な調査を行う。
文化遺産像の屋外シーンと細構造植物室内シーンの2つの自撮りシーンに対するアプローチを評価した。
以上の結果から,RGB画像,対応するカメラポーズ,およびガウスを初期化するための深度センサに基づく点雲などのHoloLensデータが3次元ガウススプラッティングの入力に適していることが示唆された。
関連論文リスト
- GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。
モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。
提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
論文 参考訳（メタデータ） (2024-09-24T23:18:32Z) - Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。
1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。
これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
論文 参考訳（メタデータ） (2024-06-25T10:20:44Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - Enhanced 3D Urban Scene Reconstruction and Point Cloud Densification using Gaussian Splatting and Google Earth Imagery [19.67372661944804]
ウォータールー大学を中心としたウォータールー地域の3次元ガウス散乱モデルを構築した。
我々は,従来の3次元視線合成結果よりもはるかに高い視線合成結果を得ることができる。
論文 参考訳（メタデータ） (2024-05-17T18:00:07Z) - Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion [20.464224937528222]
3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSはよく知られた「抜ける円錐」問題に悩まされており、深さ軸に沿った再建が不十分である。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-06T17:23:43Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。
既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。
我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
論文 参考訳（メタデータ） (2024-03-22T21:28:19Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile
Mapping [4.619828919345114]
我々は、HoloLensから取得したデータを用いて、ニューラルネットワークのシーン表現としてNeRF(Neural Radiance Field)をリアルタイムで訓練する。
データストリームが終了すると、トレーニングが停止し、3D再構成が開始され、シーンの点雲が抽出される。
この3次元再構成法は,複数桁のNeRFを用いた格子点サンプリングよりも優れる。
論文 参考訳（メタデータ） (2023-04-27T16:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。