論文の概要: Graph-based Thermal-Inertial SLAM with Probabilistic Neural Networks
- arxiv url: http://arxiv.org/abs/2104.07196v2
- Date: Sun, 18 Apr 2021 08:35:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-24 16:03:34.165213
- Title: Graph-based Thermal-Inertial SLAM with Probabilistic Neural Networks
- Title(参考訳): 確率的ニューラルネットワークを用いたグラフベース熱慣性SLAM
- Authors: Muhamad Risqi U. Saputra, Chris Xiaoxuan Lu, Pedro P. B. de Gusmao,
Bing Wang, Andrew Markham, Niki Trigoni
- Abstract要約: SLAMフロントエンドのニューラルネットワーク抽象化とSLAMバックエンドの堅牢なポーズグラフ最適化を組み合わせた,最初の完全熱慣性SLAMシステムを提案する。
熱画像からこのエンコーディングをモデル化するのに重要な戦略は、正規化された14ビットラジオメトリックデータの使用、幻覚視覚(RGB)機能の組み込み、MDNパラメータを推定するための特徴選択の包含です。
- 参考スコア(独自算出の注目度): 38.35547654117047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simultaneous Localization and Mapping (SLAM) system typically employ
vision-based sensors to observe the surrounding environment. However, the
performance of such systems highly depends on the ambient illumination
conditions. In scenarios with adverse visibility or in the presence of airborne
particulates (e.g. smoke, dust, etc.), alternative modalities such as those
based on thermal imaging and inertial sensors are more promising. In this
paper, we propose the first complete thermal-inertial SLAM system which
combines neural abstraction in the SLAM front end with robust pose graph
optimization in the SLAM back end. We model the sensor abstraction in the front
end by employing probabilistic deep learning parameterized by Mixture Density
Networks (MDN). Our key strategies to successfully model this encoding from
thermal imagery are the usage of normalized 14-bit radiometric data, the
incorporation of hallucinated visual (RGB) features, and the inclusion of
feature selection to estimate the MDN parameters. To enable a full SLAM system,
we also design an efficient global image descriptor which is able to detect
loop closures from thermal embedding vectors. We performed extensive
experiments and analysis using three datasets, namely self-collected ground
robot and handheld data taken in indoor environment, and one public dataset
(SubT-tunnel) collected in underground tunnel. Finally, we demonstrate that an
accurate thermal-inertial SLAM system can be realized in conditions of both
benign and adverse visibility.
- Abstract(参考訳): SLAMシステムは通常、周囲の環境を観察するために視覚ベースのセンサーを使用する。
しかし、このようなシステムの性能は周囲の照明条件に大きく依存する。
視界が悪くなる場合や、空中に浮かぶ微粒子の存在(例)
煙、ほこり、などなど
熱画像や慣性センサーに基づくような代替手段の方が有望である。
本稿では、SLAMフロントエンドにおけるニューラル抽象化とSLAMバックエンドにおけるロバストポーズグラフ最適化を組み合わせた、最初の完全熱慣性SLAMシステムを提案する。
本研究では,混合密度ネットワーク(mdn)によってパラメータ化された確率的ディープラーニングを用いて,フロントエンドにおけるセンサ抽象化をモデル化する。
熱画像からこの符号化をうまくモデル化するための重要な戦略は、正規化された14ビットラジオメトリックデータの使用、幻覚視覚(RGB)特徴の導入、MDNパラメータを推定するための特徴選択の導入である。
また、全SLAMシステムを実現するために、熱埋め込みベクトルからループクロージャを検出することができる効率的なグローバル画像記述子を設計する。
室内環境における自己収集型地上ロボットとハンドヘルドデータ,地下トンネルで収集された1つの公開データセット(サブトンネル)を用いて,大規模実験と解析を行った。
最後に, 正確な熱慣性SLAMシステムは, 良性および悪質な視認性の両方の条件下で実現可能であることを示す。
関連論文リスト
- KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。
我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。
我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
論文 参考訳(メタデータ) (2024-07-18T05:48:24Z) - Deep Generative Data Assimilation in Multimodal Setting [0.1052166918701117]
本研究では,マルチモーダル・セッティングにおけるスコアベースラテント・アシミレーション(SLAMS)を提案する。
気象観測所のデータと衛星画像とを同化して、垂直温度分布を世界規模で校正する。
私たちの研究は、実世界のデータセットを用いたマルチモーダルデータ同化に、初めて深層生成フレームワークを適用しました。
論文 参考訳(メタデータ) (2024-04-10T00:25:09Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Spatially-resolved Thermometry from Line-of-Sight Emission Spectroscopy
via Machine Learning [2.449329947677678]
本研究の目的は, 温度分布測定におけるデータ駆動モデルの利用について検討することである。
i)特徴工学と古典的機械学習アルゴリズム、(ii)エンドツーエンド畳み込みニューラルネットワーク(CNN)の2つのカテゴリが分析されている。
本手法は, ガス混合ガス中の種濃度分布が未知であっても, 低分解能スペクトルから不均一な温度分布を測定することができる。
論文 参考訳(メタデータ) (2022-12-15T13:46:15Z) - ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of
Signed Distance Fields [2.0625936401496237]
ESLAMは、未知のカメラポーズでRGB-Dフレームを読み出し、シーン表現を漸進的に再構築する。
ESLAMは3次元再構成の精度を向上し、最先端の高密度視覚SLAM法のカメラローカライゼーションを50%以上向上する。
論文 参考訳(メタデータ) (2022-11-21T18:25:14Z) - Environmental Sensor Placement with Convolutional Gaussian Neural
Processes [65.13973319334625]
センサーは、特に南極のような遠隔地において、その測定の情報量が最大になるように配置することは困難である。
確率論的機械学習モデルは、予測の不確実性を最大限に低減するサイトを見つけることによって、情報的センサ配置を提案することができる。
本稿では,これらの問題に対処するために,畳み込み型ガウスニューラルプロセス(ConvGNP)を提案する。
論文 参考訳(メタデータ) (2022-11-18T17:25:14Z) - Using Detection, Tracking and Prediction in Visual SLAM to Achieve
Real-time Semantic Mapping of Dynamic Scenarios [70.70421502784598]
RDS-SLAMは、一般的に使用されているIntel Core i7 CPUのみを使用して、動的シナリオのためのオブジェクトレベルでのセマンティックマップをリアルタイムで構築することができる。
我々は, TUM RGB-DデータセットにおけるRDS-SLAMを評価し, 動的シナリオにおいて, RDS-SLAMはフレームあたり30.3msで動作可能であることを示した。
論文 参考訳(メタデータ) (2022-10-10T11:03:32Z) - Robust Environment Perception for Automated Driving: A Unified Learning
Pipeline for Visual-Infrared Object Detection [2.478658210785]
我々は、頑健な物体検出のために、視覚と熱の両方の知覚ユニットを利用する。
本稿では,物体検出のために,視覚と熱の両方の知覚ユニットを利用する。
論文 参考訳(メタデータ) (2022-06-08T15:02:58Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - SSTN: Self-Supervised Domain Adaptation Thermal Object Detection for
Autonomous Driving [6.810856082577402]
コントラスト学習により可視スペクトル領域と赤外スペクトル領域の情報を最大化するための機能埋め込みを学習するためのディープニューラルネットワークSelf Supervised Thermal Network (SSTN)を提案する。
提案手法は、FLIR-ADASデータセットとKAISTマルチスペクトラルデータセットの2つの公開データセットで広く評価されている。
論文 参考訳(メタデータ) (2021-03-04T16:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。