論文の概要: Pay "Attention" to Adverse Weather: Weather-aware Attention-based Object Detection

• arxiv url: http://arxiv.org/abs/2204.10803v1
• Date: Fri, 22 Apr 2022 16:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 15:36:47.961574
• Title: Pay "Attention" to Adverse Weather: Weather-aware Attention-based Object Detection
• Title（参考訳）: 天気に対する「注意」の支払い:気象に配慮した注意に基づく物体検出
• Authors: Saket S. Chaturvedi, Lan Zhang, Xiaoyong Yuan
• Abstract要約: 本稿では,マルチモーダルセンシングストリームを適応的に融合させるGLA(Global-Local Attention)フレームワークを提案する。 具体的には、GLAは、ローカルアテンションネットワークを介してアーリーステージフュージョンと、グローバルアテンションネットワークを介してレイトステージフュージョンを統合し、ローカル情報とグローバル情報の両方を扱う。 実験により, 提案したGLAの性能は, 最先端核融合法と比較して優れていた。
• 参考スコア（独自算出の注目度）: 5.816506391882502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent advances of deep neural networks, object detection for adverse weather remains challenging due to the poor perception of some sensors in adverse weather. Instead of relying on one single sensor, multimodal fusion has been one promising approach to provide redundant detection information based on multiple sensors. However, most existing multimodal fusion approaches are ineffective in adjusting the focus of different sensors under varying detection environments in dynamic adverse weather conditions. Moreover, it is critical to simultaneously observe local and global information under complex weather conditions, which has been neglected in most early or late-stage multimodal fusion works. In view of these, this paper proposes a Global-Local Attention (GLA) framework to adaptively fuse the multi-modality sensing streams, i.e., camera, gated camera, and lidar data, at two fusion stages. Specifically, GLA integrates an early-stage fusion via a local attention network and a late-stage fusion via a global attention network to deal with both local and global information, which automatically allocates higher weights to the modality with better detection features at the late-stage fusion to cope with the specific weather condition adaptively. Experimental results demonstrate the superior performance of the proposed GLA compared with state-of-the-art fusion approaches under various adverse weather conditions, such as light fog, dense fog, and snow.
• Abstract（参考訳）: 近年の深層ニューラルネットワークの進歩にもかかわらず、悪天候での物体検出は、悪天候におけるセンサーの認識不足のために依然として困難である。 単一のセンサに頼る代わりに、マルチモーダルフュージョンは、複数のセンサに基づく冗長な検出情報を提供する有望なアプローチである。 しかし、既存のマルチモーダル核融合手法の多くは、動的悪天候下での様々な検出環境下での異なるセンサーの焦点の調整に効果がない。 また, 初期・後期のマルチモーダル融合作業では無視されてきた複雑な気象条件下で, 地域情報と地球情報を同時に観測することが重要である。 そこで本研究では,GLA(Global-Local Attention)フレームワークを提案する。このフレームワークは,マルチモーダルセンシングストリーム(カメラ,ゲートカメラ,ライダーデータ)を2つの融合段階において適応的に融合させる。 具体的には、glaは、ローカルアテンションネットワークによる早期融合と、グローバルアテンションネットワークによる後期融合を統合して、ローカル情報とグローバル情報の両方を扱う。 実験により,光霧,濃霧,積雪などの悪天候条件下での最先端核融合法と比較して,提案したGLAの優れた性能を示した。

関連論文リスト

• Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions [17.216501433862014]
  可視赤外スペクトルキューを統合するモダリティ画像は、オブジェクト検出のためのよりリッチな情報を提供することができる。 既存の可視赤外物体検出法は、厳しい気象条件下で著しく劣化する。 悪天候下での可視赤外物体検出について紹介する。
  論文  参考訳（メタデータ） (2024-04-25T02:54:11Z)
• ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
  本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。 我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。 本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
  論文  参考訳（メタデータ） (2024-04-23T06:37:54Z)
• Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
  レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。 また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。 我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T09:26:13Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• Ranking-Based Physics-Informed Line Failure Detection in Power Grids [66.0797334582536]
  ライン障害のリアルタイムかつ正確な検出は、極端な気象の影響を緩和し、緊急制御を活性化する最初のステップである。 電力収支方程式は、非線形性、極端な事象における発生の不確実性の増加、グリッドオブザーバビリティの欠如は、従来のデータ駆動障害検出手法の効率を損なう。 本稿では,グリッドトポロジ情報を利用した物理インフォームドライン故障検出器(FIELD)を提案する。
  論文  参考訳（メタデータ） (2022-08-31T18:19:25Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。