論文の概要: Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB

• arxiv url: http://arxiv.org/abs/2411.19474v1
• Date: Fri, 29 Nov 2024 05:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:18.963582
• Title: Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB
• Title（参考訳）: シャーパー3D用Blurred LiDAR:Diffuse LiDARとRGBを用いたロバストハンドヘルド3Dスキャン
• Authors: Nikhil Behari, Aaron Young, Siddharth Somasundaram, Tzofi Klinghoffer, Akshat Dave, Ramesh Raskar,
• Abstract要約: 3D表面の再構成は、仮想現実、ロボット工学、モバイルスキャンの応用において不可欠である。 RGBベースの再構築は、低テクスチャ、低照度、低アルベドシーンでしばしば失敗する。 我々は、拡散フラッシュを出力する代替のLiDARクラスを提案する。
• 参考スコア（独自算出の注目度）: 12.38882701862349
• License:
• Abstract: 3D surface reconstruction is essential across applications of virtual reality, robotics, and mobile scanning. However, RGB-based reconstruction often fails in low-texture, low-light, and low-albedo scenes. Handheld LiDARs, now common on mobile devices, aim to address these challenges by capturing depth information from time-of-flight measurements of a coarse grid of projected dots. Yet, these sparse LiDARs struggle with scene coverage on limited input views, leaving large gaps in depth information. In this work, we propose using an alternative class of "blurred" LiDAR that emits a diffuse flash, greatly improving scene coverage but introducing spatial ambiguity from mixed time-of-flight measurements across a wide field of view. To handle these ambiguities, we propose leveraging the complementary strengths of diffuse LiDAR with RGB. We introduce a Gaussian surfel-based rendering framework with a scene-adaptive loss function that dynamically balances RGB and diffuse LiDAR signals. We demonstrate that, surprisingly, diffuse LiDAR can outperform traditional sparse LiDAR, enabling robust 3D scanning with accurate color and geometry estimation in challenging environments.
• Abstract（参考訳）: 3D表面の再構成は、仮想現実、ロボット工学、モバイルスキャンの応用において不可欠である。 しかし、RGBベースの再構築は、低テクスチャ、低照度、低アルベドシーンでしばしば失敗する。 現在モバイルデバイスで一般的なハンドヘルドLiDARは、投影されたドットの粗いグリッドの飛行時間測定から深度情報をキャプチャすることで、これらの課題に対処することを目指している。 しかし、これらの希薄なLiDARは、限られた入力ビューのシーンカバレッジに苦慮し、奥行き情報に大きなギャップを残している。 本研究では,拡散フラッシュを発生させる代替の"青色"LiDARを用いることで,シーンのカバレッジを大幅に向上すると同時に,広視野での混合飛行時間計測から空間的曖昧性を導入することを提案する。 このようなあいまいさに対処するために,拡散LiDARとRGBの相補的な強みを活用することを提案する。 本稿では,RGBと拡散LiDAR信号を動的にバランスするシーン適応型損失関数を備えたガウスサーベイルベースのレンダリングフレームワークを提案する。 意外なことに、拡散LiDARは従来のスパースLiDARよりも優れており、難易度の高い環境において、正確な色と幾何推定による堅牢な3Dスキャンを可能にしている。

関連論文リスト

• ES-Gaussian: Gaussian Splatting Mapping via Error Space-Based Gaussian Completion [9.443354889048614]
  視覚ベースのマッピングは、粗い点雲のために高品質な3D再構成に苦しむことが多い。 低高度カメラと単線LiDARを用いた高品質な3D再構成システムES-Gaussianを提案する。
  論文  参考訳（メタデータ） (2024-10-09T07:09:29Z)
• LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
  LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。 都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。 我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
  論文  参考訳（メタデータ） (2024-10-07T15:07:56Z)
• TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving [14.80202289008908]
  都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。 我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。 提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-03T02:26:15Z)
• DeepMIF: Deep Monotonic Implicit Fields for Large-Scale LiDAR 3D Mapping [46.80755234561584]
  最近の学習ベース手法は,3次元シーンの表面を近似するために,ニューラル暗黙表現と最適化可能な特徴グリッドを統合している。 この作業では、LiDARデータを正確にフィッティングすることから離れ、代わりにネットワークが3D空間で定義された非メトリックモノトニック暗黙フィールドを最適化する。 提案アルゴリズムは,Mai City, Newer College, KITTIベンチマークで得られた複数の量的および知覚的測定値と視覚的結果を用いて,高品質な高密度3Dマッピング性能を実現する。
  論文  参考訳（メタデータ） (2024-03-26T09:58:06Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation [51.443788294845845]
  我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。 スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。 個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
  論文  参考訳（メタデータ） (2023-11-02T17:57:03Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection [96.63947479020631]
  多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。 異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:59:02Z)
• LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds [58.402752909624716]
  既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。 我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。 我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
  論文  参考訳（メタデータ） (2022-03-28T12:52:45Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation Using Monocular Camera and Sparse LiDAR [10.303618438296981]
  シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。 ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。 DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
  論文  参考訳（メタデータ） (2020-08-18T19:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。