論文の概要: Learning Online Multi-Sensor Depth Fusion

• arxiv url: http://arxiv.org/abs/2204.03353v1
• Date: Thu, 7 Apr 2022 10:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-09 00:01:22.180767
• Title: Learning Online Multi-Sensor Depth Fusion
• Title（参考訳）: オンラインマルチセンサ深度融合の学習
• Authors: Erik Sandstr\"om, Martin R. Oswald, Suryansh Kumar, Silvan Weder, Fisher Yu, Cristian Sminchisescu, Luc Van Gool
• Abstract要約: SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
• 参考スコア（独自算出の注目度）: 100.84519175539378
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many hand-held or mixed reality devices are used with a single sensor for 3D reconstruction, although they often comprise multiple sensors. Multi-sensor depth fusion is able to substantially improve the robustness and accuracy of 3D reconstruction methods, but existing techniques are not robust enough to handle sensors which operate with diverse value ranges as well as noise and outlier statistics. To this end, we introduce SenFuNet, a depth fusion approach that learns sensor-specific noise and outlier statistics and combines the data streams of depth frames from different sensors in an online fashion. Our method fuses multi-sensor depth streams regardless of time synchronization and calibration and generalizes well with little training data. We conduct experiments with various sensor combinations on the real-world CoRBS and Scene3D datasets, as well as the Replica dataset. Experiments demonstrate that our fusion strategy outperforms traditional and recent online depth fusion approaches. In addition, the combination of multiple sensors yields more robust outlier handling and precise surface reconstruction than the use of a single sensor.
• Abstract（参考訳）: 多くのハンドヘルドまたは混合現実感デバイスは、複数のセンサーから構成されるが、単一のセンサーで3D再構成を行う。 マルチセンサーの奥行き融合は3次元復元法のロバスト性と精度を大幅に向上させるが、既存の技術では様々な値範囲のセンサーやノイズや異常値の統計を扱うには十分ではない。 この目的のために,センサ固有のノイズと外れ値統計を学習し,異なるセンサからの深度フレームのデータストリームをオンライン的に組み合わせた深度融合手法であるSenFuNetを導入する。 本手法は,時間同期やキャリブレーションによらず,複数センサの奥行きストリームを融合し,少ないトレーニングデータで一般化する。 実世界のCoRBSとScene3DのデータセットとReplicaのデータセットで様々なセンサーの組み合わせで実験を行う。 実験により、我々の融合戦略が従来のオンライン深度融合アプローチより優れていることが示された。 さらに、複数のセンサの組み合わせにより、単一のセンサを使用するよりも堅牢なアウトラヤハンドリングと正確な表面再構成が得られる。

関連論文リスト

• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition [5.225544155289783]
  各種センサはHAR(Human Activity Recognition)に使用することができる。 1つのセンサーがユーザーの動きをその視点で完全に観察できない場合があり、誤った予測を引き起こす。 トレーニング中に複数のタイム同期センサーからラベル付けされていないデータを活用できる新しい方法であるVirtual Fusionを提案する。
  論文  参考訳（メタデータ） (2023-12-01T17:03:27Z)
• Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted Data [4.3012765978447565]
  この研究は、データの破損に対処し、3Dオブジェクト検出のためのセンサ融合をより堅牢にする新しい融合ステップを示す。 提案手法は,通常のデータに対する最先端手法と同等に動作し,不整合データに対して性能を向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T18:06:29Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach [0.0]
  本稿では,複数の情報源から得られたコヒーレンスデータを利用したコントラシティブ・センサ・フュージョンを提案し,それらの組み合わせのすべての有用な表現を学習する。 4700万枚のラベルのない画像三重項のデータセットを用いて、入力センサーから可能なチャネルの組み合わせから有意義な表現を生成するエンコーダを訓練する。 これらの表現は、リモートセンシング分類タスクにおいて、完全な教師付きイメージネット重みよりも優れ、より多くのセンサーが融合するにつれて改善される。
  論文  参考訳（メタデータ） (2021-08-11T08:32:58Z)
• CalibDNN: Multimodal Sensor Calibration for Perception Using Deep Neural Networks [27.877734292570967]
  本稿では,マルチモーダルセンサ,特にLiDAR-Cameraペア間の正確な校正のための新しいディープラーニング駆動技術(CalibDNN)を提案する。 全体の処理は、単一のモデルと単一のイテレーションで完全に自動です。 異なる手法と異なるデータセットに対する広範な実験の結果は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2021-03-27T02:43:37Z)
• GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detector [11.161639542268015]
  厳しい照明条件下での2次元物体検出のためのセンサ対応マルチモーダル融合戦略を提案する。 本ネットワークは,各センサモダリティの測定信頼性をスカラーウェイトとマスクの形で推定する。 提案手法はFLIR-Thermalデータセット上で既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T14:56:37Z)
• Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
  本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。 我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
  論文  参考訳（メタデータ） (2020-12-20T18:43:41Z)
• Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
  本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。 我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。 実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-03-23T10:51:32Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。