論文の概要: IRisPath: Enhancing Off-Road Navigation with Robust IR-RGB Fusion for Improved Day and Night Traversability
- arxiv url: http://arxiv.org/abs/2412.03173v1
- Date: Wed, 04 Dec 2024 09:53:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 21:42:00.616621
- Title: IRisPath: Enhancing Off-Road Navigation with Robust IR-RGB Fusion for Improved Day and Night Traversability
- Title（参考訳）: IRisPath:ロバストIR-RGB融合によるオフロードナビゲーションの強化
- Authors: Saksham Sharma, Akshit Raizada, Suresh Sundaram,
- Abstract要約: 従来の道路上での自律的な手法は、ダイナミックな地形に苦しむため、オフロードでの車両制御は貧弱である。
近年の深層学習モデルでは、知覚センサと審美的フィードバックを併用して、そのような地形のナビゲーションを行っている。
本稿では,LWIRとRGB画像を用いて動的気象や光条件に対する堅牢性を実現するマルチモーダル核融合ネットワークFuseIsPathを提案する。
- 参考スコア（独自算出の注目度）: 2.21687743334279
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autonomous off-road navigation is required for applications in agriculture, construction, search and rescue and defence. Traditional on-road autonomous methods struggle with dynamic terrains, leading to poor vehicle control on off-road. Recent deep-learning models have used perception sensors along with kinesthetic feedback for navigation on such terrains. However, this approach has out-of-domain uncertainty. Factors like change in weather and time of day impacts the performance of the model. We propose a multi modal fusion network FuseIsPath capable of using LWIR and RGB images to provide robustness against dynamic weather and light conditions. To aid further works in this domain, we also open-source a day-night dataset with LWIR and RGB images along with pseudo-labels for traversability. In order to co-register the two images we developed a novel method for targetless extrinsic calibration of LWIR, LiDAR and RGB cameras with translation accuracy of 1.7cm and rotation accuracy of 0.827degree.
- Abstract（参考訳）: 農業、建設、捜索、救助、防衛に自律的なオフロードナビゲーションが必要である。
従来の道路上での自律的な手法は、ダイナミックな地形に苦しむため、オフロードでの車両制御は貧弱である。
近年の深層学習モデルでは、知覚センサと審美的フィードバックを用いて、そのような地形のナビゲーションを行っている。
しかし、このアプローチにはドメイン外の不確実性がある。
天候の変化や日中の時間といった要因が、モデルの性能に影響を与えます。
本稿では,LWIRとRGB画像を用いて動的気象や光条件に対する堅牢性を実現するマルチモーダル核融合ネットワークFuseIsPathを提案する。
この領域でのさらなる作業を支援するため、LWIRとRGBの画像と擬似ラベルを用いた日夜データセットをオープンソースとして公開しています。
本研究では,LWIR,LiDAR,RGBカメラの回転精度1.7cm,回転精度0.827°の目標外キャリブレーション法を開発した。
関連論文リスト
- Human Activity Recognition using RGB-Event based Sensors: A Multi-modal Heat Conduction Model and A Benchmark Dataset [65.76480665062363]
人間の活動認識は主に、高性能な活動認識を実現するために従来のRGBカメラに依存していた。
照明不足や急激な動きといった現実のシナリオにおける課題は、必然的にRGBカメラの性能を低下させる。
本研究では,RGBとイベントカメラを組み合わせることで,人間の活動認識を再考する。
論文 参考訳（メタデータ） (2025-04-08T09:14:24Z) - Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。
提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
論文 参考訳（メタデータ） (2025-01-25T06:21:06Z) - TEDNet: Twin Encoder Decoder Neural Network for 2D Camera and LiDAR Road Detection [2.8038082486377114]
道路面の正確な推定のために,新しい畳み込みニューラルネットワークモデルを提案する。
我々のモデルは、独立カメラとLiDAR機能抽出にTwin-Decoder Neural Network(TEDNet)を用いている。
このモデルでは、カメラとLiDARデータのバードアイビュー投影を用いて、各ピクセルが路面に属するか否かのセマンティックセグメンテーションを行う。
論文 参考訳（メタデータ） (2024-05-14T08:45:34Z) - DIDLM: A SLAM Dataset for Difficult Scenarios Featuring Infrared, Depth Cameras, LIDAR, 4D Radar, and Others under Adverse Weather, Low Light Conditions, and Rough Roads [20.600516423425688]
積雪天候,雨天,夜間条件,スピードバンプ,荒地など,困難なシナリオをカバーするマルチセンサデータセットを提案する。
このデータセットには、4Dミリ波レーダー、赤外線カメラ、深度カメラなどの極端な状況に利用されないセンサーと、3D LiDAR、RGBカメラ、GPS、IMUが含まれる。
自律走行と地上ロボットの両方のアプリケーションをサポートし、構造化された地形と半構造化された地形をカバーする信頼性の高いGPS/INS地上真実データを提供する。
論文 参考訳（メタデータ） (2024-04-15T09:49:33Z) - Caltech Aerial RGB-Thermal Dataset in the Wild [14.699908177967181]
本稿では,自然環境下での航空ロボットのためのRGB熱水モデルについて紹介する。
私たちのデータセットは、川、湖、海岸線、砂漠、森林など、米国中のさまざまな地形を捉えています。
自然設定でよく見られる10のクラスに対してセマンティックセグメンテーションアノテーションを提供する。
論文 参考訳（メタデータ） (2024-03-13T23:31:04Z) - RoadRunner -- Learning Traversability Estimation for Autonomous Off-road Driving [13.101416329887755]
我々は、カメラとLiDARセンサーの入力から直接地形変動を予測できるフレームワークであるRoadRunnerと、標高マップを提示する。
RoadRunnerは、センサ情報、不確実性の処理、コンテキスト情報による予測の生成を融合させることで、信頼性の高い自律ナビゲーションを可能にする。
我々は,非構造砂漠環境を通した複数の現実の運転シナリオにおいて,安全かつ信頼性の高いオフロードナビゲーションを実現する上で,ロードランナーの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-29T16:47:54Z) - NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。
雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。
雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
論文 参考訳（メタデータ） (2024-02-28T09:02:33Z) - NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for
Autonomous Driving [57.03126447713602]
本稿では,自動車のRADARセンサを用いて動的障害物や乾燥可能な自由空間を検出するディープニューラルネットワーク(DNN)を提案する。
ネットワークは組み込みGPU上でリアルタイムよりも高速に動作し、地理的領域にわたって優れた一般化を示す。
論文 参考訳（メタデータ） (2022-09-29T01:30:34Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using
Meta-Learning [64.92447072894055]
赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。
既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。
KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
論文 参考訳（メタデータ） (2021-10-07T02:28:18Z) - Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2020-07-04T08:11:33Z) - Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文 参考訳（メタデータ） (2020-03-05T05:29:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。