論文の概要: Learning Selective Sensor Fusion for States Estimation
- arxiv url: http://arxiv.org/abs/1912.13077v2
- Date: Wed, 18 May 2022 10:42:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 02:34:17.598989
- Title: Learning Selective Sensor Fusion for States Estimation
- Title(参考訳): 状態推定のための学習選択型センサ融合
- Authors: Changhao Chen, Stefano Rosa, Chris Xiaoxuan Lu, Bing Wang, Niki
Trigoni, Andrew Markham
- Abstract要約: 本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。
予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。
我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
- 参考スコア(独自算出の注目度): 47.76590539558037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous vehicles and mobile robotic systems are typically equipped with
multiple sensors to provide redundancy. By integrating the observations from
different sensors, these mobile agents are able to perceive the environment and
estimate system states, e.g. locations and orientations. Although deep learning
approaches for multimodal odometry estimation and localization have gained
traction, they rarely focus on the issue of robust sensor fusion - a necessary
consideration to deal with noisy or incomplete sensor observations in the real
world. Moreover, current deep odometry models suffer from a lack of
interpretability. To this extent, we propose SelectFusion, an end-to-end
selective sensor fusion module which can be applied to useful pairs of sensor
modalities such as monocular images and inertial measurements, depth images and
LIDAR point clouds. Our model is a uniform framework that is not restricted to
specific modality or task. During prediction, the network is able to assess the
reliability of the latent features from different sensor modalities and
estimate trajectory both at scale and global pose. In particular, we propose
two fusion modules - a deterministic soft fusion and a stochastic hard fusion,
and offer a comprehensive study of the new strategies compared to trivial
direct fusion. We extensively evaluate all fusion strategies in both public
datasets and on progressively degraded datasets that present synthetic
occlusions, noisy and missing data and time misalignment between sensors, and
we investigate the effectiveness of the different fusion strategies in
attending the most reliable features, which in itself, provides insights into
the operation of the various models.
- Abstract(参考訳): 自律走行車や移動ロボットシステムは通常、冗長性を提供する複数のセンサーを備えている。
異なるセンサーからの観測を統合することで、これらの移動エージェントは環境を認識し、位置や方向などのシステム状態を推定することができる。
マルチモーダル・オドメトリー推定とローカライゼーションのためのディープラーニングアプローチが注目されているが、実世界のノイズや不完全なセンサ観測を扱うために必要となる、堅牢なセンサー融合の問題に焦点を合わせることは稀である。
さらに、現在のディープオドメトリーモデルは解釈可能性の欠如に苦しんでいる。
そこで本稿では,モノクロ画像や慣性測定,深度画像,ライダーポイント雲などのセンサモダリティの有用なペアに適用可能な,エンドツーエンドの選択的センサ融合モジュールであるselectfusionを提案する。
私たちのモデルは、特定のモダリティやタスクに限定されない統一的なフレームワークです。
予測の間、ネットワークは異なるセンサモダリティから潜在特徴の信頼性を評価し、スケールとグローバルポーズの両方で軌道を推定することができる。
特に, 決定論的ソフトフュージョンと確率的ハードフュージョンの2つの融合モジュールを提案し, 自明な直接フュージョンと比較して, 新たな戦略を包括的に検討する。
提案手法は, 一般のデータセットと, 合成オクルージョン, ノイズ, 欠落データ, およびセンサ間の時間的不一致を呈する漸進的劣化データセットの両方において, 融合戦略を広範囲に評価し, 最も信頼性の高い機能に対応するための異なる融合戦略の有効性について検討した。
関連論文リスト
- Efficient Multi-Resolution Fusion for Remote Sensing Data with Label
Uncertainty [0.7832189413179361]
本稿では,画素レベルのトレーニングラベルを必要とせず,マルチモーダル・マルチレゾリューションリモートセンサデータを融合する新しい手法を提案する。
探索空間を削減し,MIMRFフレームワークの効率を大幅に改善する二元ファジィ測度に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T17:34:32Z) - Log-Likelihood Score Level Fusion for Improved Cross-Sensor Smartphone
Periocular Recognition [52.15994166413364]
我々は、複数のコンパレータを融合させて、異なるスマートフォンの画像を比較する際に、眼周囲の性能を改善する。
我々は線形ロジスティック回帰に基づく確率的融合フレームワークを使用し、融合したスコアはログライクな比率になる傾向にある。
我々のフレームワークは、同じセンサとクロスセンサーのスコア分布が整列され、共通の確率領域にマッピングされるため、異なるデバイスからの信号を処理するためのエレガントでシンプルなソリューションも提供します。
論文 参考訳(メタデータ) (2023-11-02T13:43:44Z) - AFT-VO: Asynchronous Fusion Transformers for Multi-View Visual Odometry
Estimation [39.351088248776435]
複数のセンサからVOを推定する新しいトランスフォーマーベースのセンサ融合アーキテクチャであるAFT-VOを提案する。
本フレームワークは,非同期マルチビューカメラからの予測と,異なる情報源からの計測の時間的差を考慮に入れたものである。
実験により,VO推定のための多視点融合により,頑健かつ正確な軌道が得られ,難易度と照明条件の両方において高い性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-06-26T19:29:08Z) - Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。
実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
論文 参考訳(メタデータ) (2022-04-07T10:45:32Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。
既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - On the Role of Sensor Fusion for Object Detection in Future Vehicular
Networks [25.838878314196375]
異なるセンサの組み合わせが車両の移動・運転環境の検出にどのように影響するかを評価します。
最終的な目標は、チャネルに分散するデータの量を最小限に抑える最適な設定を特定することです。
論文 参考訳(メタデータ) (2021-04-23T18:58:37Z) - GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object
Detector [11.161639542268015]
厳しい照明条件下での2次元物体検出のためのセンサ対応マルチモーダル融合戦略を提案する。
本ネットワークは,各センサモダリティの測定信頼性をスカラーウェイトとマスクの形で推定する。
提案手法はFLIR-Thermalデータセット上で既存の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-02-24T14:56:37Z) - Multi-Objective Bayesian Optimisation and Joint Inversion for Active
Sensor Fusion [22.04258832800079]
新しい測定値の割当にコストのかかる関数が与えられた場合,多目的最適化と逆問題のためのフレームワークを提案する。
本手法は2次元センサデータと3次元物理特性の多次元前方モデルとを共同で解くために考案された。
本研究では,2次元重力と磁気センサのデータに基づいて,新しいドリルコア測定をどこに配置するかを推奨する。
論文 参考訳(メタデータ) (2020-10-12T01:23:41Z) - Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。
我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。
実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
論文 参考訳(メタデータ) (2020-03-23T10:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。