論文の概要: 3D Reconstruction by Looking: Instantaneous Blind Spot Detector for Indoor SLAM through Mixed Reality

• arxiv url: http://arxiv.org/abs/2411.12514v1
• Date: Tue, 19 Nov 2024 13:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:29.404650
• Title: 3D Reconstruction by Looking: Instantaneous Blind Spot Detector for Indoor SLAM through Mixed Reality
• Title（参考訳）: 室内SLAM用瞬時ブラインドスポット検出器の複合現実感による3次元再構成
• Authors: Hanbeom Chang, Jongseong Brad Choi, Chul Min Yeum,
• Abstract要約: LiMRSF(LiDAR-MR-RGB Sensor Fusion)は、ユーザーがMixed-Reality(MR)ヘッドセットを通してその場でクラウドを登録することを可能にする。 システムは、ポイントメッシュをホログラムとして可視化し、シースルーメガネのリアルタイムシーンとシームレスにマッチングする。 ブラインドスポット検出器は、F1スコア75.76%の誤差検出精度を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Indoor SLAM often suffers from issues such as scene drifting, double walls, and blind spots, particularly in confined spaces with objects close to the sensors (e.g. LiDAR and cameras) in reconstruction tasks. Real-time visualization of point cloud registration during data collection may help mitigate these issues, but a significant limitation remains in the inability to in-depth compare the scanned data with actual physical environments. These challenges obstruct the quality of reconstruction products, frequently necessitating revisit and rescan efforts. For this regard, we developed the LiMRSF (LiDAR-MR-RGB Sensor Fusion) system, allowing users to perceive the in-situ point cloud registration by looking through a Mixed-Reality (MR) headset. This tailored framework visualizes point cloud meshes as holograms, seamlessly matching with the real-time scene on see-through glasses, and automatically highlights errors detected while they overlap. Such holographic elements are transmitted via a TCP server to an MR headset, where it is calibrated to align with the world coordinate, the physical location. This allows users to view the localized reconstruction product instantaneously, enabling them to quickly identify blind spots and errors, and take prompt action on-site. Our blind spot detector achieves an error detection precision with an F1 Score of 75.76% with acceptably high fidelity of monitoring through the LiMRSF system (highest SSIM of 0.5619, PSNR of 14.1004, and lowest MSE of 0.0389 in the five different sections of the simplified mesh model which users visualize through the LiMRSF device see-through glasses). This method ensures the creation of detailed, high-quality datasets for 3D models, with potential applications in Building Information Modeling (BIM) but not limited.
• Abstract（参考訳）: 屋内SLAMは、シーンの漂流、二重壁、盲点などの問題に悩まされることが多い。 データ収集中のポイントクラウド登録をリアルタイムに可視化することはこれらの問題を緩和するのに役立つかもしれないが、スキャンしたデータと実際の物理的環境を詳細に比較できない大きな制限は依然として残っている。 これらの課題は再建製品の質を損なうものであり、しばしば再考と再調査の努力を必要とする。 そこで我々は,LiMRSF(LiDAR-MR-RGB Sensor Fusion)システムを開発した。 このカスタマイズされたフレームワークは、ポイントメッシュをホログラムとして視覚化し、シースルーメガネのリアルタイムシーンとシームレスにマッチングし、オーバーラップ中に検出されたエラーを自動的にハイライトする。 このようなホログラフィック要素はTCPサーバを介してMRヘッドセットに送信され、世界座標(物理位置)に合わせて調整される。 これにより、ユーザーは即座にローカライズされたリコンストラクション製品を見ることができ、盲点やエラーを素早く識別し、その場で迅速なアクションを取ることができる。 我々の盲点検出器は、LiMRSFシステムによる監視精度が許容できる75.76%のF1スコア(最も高いSSIMは0.5619、PSNRは14.1004、最低のMSEは0.0389)で誤差検出精度を達成している。 この方法では、ビルディングインフォメーション・モデリング(BIM)に潜在的な応用が期待できるが、制限されない3Dモデルのための詳細な高品質なデータセットを作成することができる。

関連論文リスト

• RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations [18.23500204496233]
  Realistic Anomaly Detection データセット(RAD)は、実際のロボットアームを使用して特別に収集された最初のマルチビューRGBベースの異常検出データセットである。 RADは、13のカテゴリにわたる4765のイメージと、50以上の視点から収集された4つの欠陥タイプで構成されている。 ポーズ推定の精度を向上し、3次元点雲の再構成を容易にするためのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-10-01T14:05:35Z)
• MINet: Multi-scale Interactive Network for Real-time Salient Object Detection of Strip Steel Surface Defects [10.550627100986894]
  我々は,DWConv(Deepwise Convolution)とPWConv(Pointwise Convolution)を用いて,異なるスケールの機能を独立して抽出し,対話的に融合する多スケール対話型(MI)モジュールを考案した。 本研究では,ストリップ鋼表面欠陥をリアルタイムに検出するための軽量なマルチスケールインタラクティブネットワーク(MINET)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:09:11Z)
• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• Cyber Mobility Mirror: Deep Learning-based Real-time 3D Object Perception and Reconstruction Using Roadside LiDAR [14.566471856473813]
  Cyber Mobility Mirrorは、3Dオブジェクトの検出、分類、追跡、再構築のための次世代のリアルタイム交通監視システムである。 実地試験の結果,試作システムでは96.99%の精度で,83.62%のリコールを達成できた。 高忠実度リアルタイム交通条件は、搭載車両のGUIに3-4Hzの周波数で表示することができる。
  論文  参考訳（メタデータ） (2022-02-28T01:58:24Z)
• Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
  LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。 ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。 我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
  論文  参考訳（メタデータ） (2020-05-04T21:55:15Z)
• Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
  ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。 現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。 本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。