論文の概要: TRIDE: A Text-assisted Radar-Image weather-aware fusion network for Depth Estimation
- arxiv url: http://arxiv.org/abs/2508.08038v1
- Date: Mon, 11 Aug 2025 14:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:29.148979
- Title: TRIDE: A Text-assisted Radar-Image weather-aware fusion network for Depth Estimation
- Title(参考訳): TRIDE:深度推定のためのテキスト支援レーダ画像気象対応核融合ネットワーク
- Authors: Huawei Sun, Zixu Wang, Hao Feng, Julius Ott, Lorenzo Servadei, Robert Wille,
- Abstract要約: TRIDE (Radar-camera fusion algorithm) は,レーダポイント情報を組み込んだテキスト特徴抽出アルゴリズムである。
提案手法はnuScenesデータセット上でベンチマークを行い,現状よりも性能が向上したことを示す。
- 参考スコア(独自算出の注目度): 7.90238039959534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth estimation, essential for autonomous driving, seeks to interpret the 3D environment surrounding vehicles. The development of radar sensors, known for their cost-efficiency and robustness, has spurred interest in radar-camera fusion-based solutions. However, existing algorithms fuse features from these modalities without accounting for weather conditions, despite radars being known to be more robust than cameras under adverse weather. Additionally, while Vision-Language models have seen rapid advancement, utilizing language descriptions alongside other modalities for depth estimation remains an open challenge. This paper first introduces a text-generation strategy along with feature extraction and fusion techniques that can assist monocular depth estimation pipelines, leading to improved accuracy across different algorithms on the KITTI dataset. Building on this, we propose TRIDE, a radar-camera fusion algorithm that enhances text feature extraction by incorporating radar point information. To address the impact of weather on sensor performance, we introduce a weather-aware fusion block that adaptively adjusts radar weighting based on current weather conditions. Our method, benchmarked on the nuScenes dataset, demonstrates performance gains over the state-of-the-art, achieving a 12.87% improvement in MAE and a 9.08% improvement in RMSE. Code: https://github.com/harborsarah/TRIDE
- Abstract(参考訳): 自動運転車に不可欠な深度推定は、車両を取り巻く3D環境を解釈しようとするものである。
レーダーセンサーの開発はコスト効率とロバストさで知られており、レーダーカメラによる核融合ソリューションへの関心を喚起している。
しかし、レーダーは悪天候下でのカメラよりも頑丈であることが知られているにもかかわらず、既存のアルゴリズムは天候条件を考慮せずにこれらのモードから特徴を解き放つ。
さらに、Vision-Languageモデルは急速に進歩してきたが、深さ推定のための他のモダリティと共に言語記述を活用することは、未解決の課題である。
本稿ではまず,単眼深度推定パイプラインを支援する機能抽出と融合技術とともにテキスト生成戦略を導入し,KITTIデータセット上でのアルゴリズム間の精度向上を実現する。
そこで本研究では,レーダポイント情報を組み込んでテキスト特徴抽出を高速化するレーダカメラ融合アルゴリズムTRIDEを提案する。
気象がセンサ性能に与える影響に対処するため,現在の気象条件に基づいてレーダ重み付けを適応的に調整する気象対応融合ブロックを導入する。
提案手法はnuScenesデータセット上でベンチマークされ,最先端技術よりもパフォーマンスが向上し,MAEが12.87%,RMSEが9.08%向上した。
コード:https://github.com/harborsarah/TRIDE
関連論文リスト
- TacoDepth: Towards Efficient Radar-Camera Depth Estimation with One-stage Fusion [54.46664104437454]
一段核融合を用いた効率的かつ正確なレーダ・カメラ深度推定モデルであるTacoDepthを提案する。
具体的には、グラフベースのRadar構造抽出器とピラミッドベースのRadar融合モジュールを設計する。
従来の最先端のアプローチと比較して、TacoDepthは深さ精度と処理速度を12.8%、91.8%改善している。
論文 参考訳(メタデータ) (2025-04-16T05:25:04Z) - RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳(メタデータ) (2025-02-18T17:17:38Z) - TransRAD: Retentive Vision Transformer for Enhanced Radar Object Detection [6.163747364795787]
本稿では,新しい3次元レーダ物体検出モデルであるTransRADを提案する。
本研究では、ディープレーダオブジェクト検出における重複境界ボックスの共通問題を軽減するために、位置認識型NMSを提案する。
その結果,TransRADは2次元および3次元のレーダ検出タスクにおいて最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2025-01-29T20:21:41Z) - GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。
レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。
提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
論文 参考訳(メタデータ) (2024-09-02T14:15:09Z) - Radar-Lidar Fusion for Object Detection by Designing Effective
Convolution Networks [18.17057711053028]
オブジェクト検出の強化のために,レーダデータとライダーデータを統合したデュアルブランチフレームワークを提案する。
この結果は、最先端の手法を1.89%ドルと2.61%ドルで上回り、好ましくない気象条件で上回っていることを示している。
論文 参考訳(メタデータ) (2023-10-30T10:18:40Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - RadarFormer: Lightweight and Accurate Real-Time Radar Object Detection
Model [13.214257841152033]
レーダー中心のデータセットは、レーダー知覚のためのディープラーニング技術の開発にはあまり注目されていない。
本稿では,視覚深層学習における最先端技術を活用したトランスフォーマーモデルRadarFormerを提案する。
また、チャネルチャープ時マージモジュールを導入し、精度を損なうことなく、モデルのサイズと複雑さを10倍以上に削減する。
論文 参考訳(メタデータ) (2023-04-17T17:07:35Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。