論文の概要: DMAT: An End-to-End Framework for Joint Atmospheric Turbulence Mitigation and Object Detection
- arxiv url: http://arxiv.org/abs/2507.04323v1
- Date: Sun, 06 Jul 2025 10:12:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.118318
- Title: DMAT: An End-to-End Framework for Joint Atmospheric Turbulence Mitigation and Object Detection
- Title(参考訳): DMAT: 共同大気乱流低減と物体検出のためのエンドツーエンドフレームワーク
- Authors: Paul Hill, Alin Achim, Dave Bull, Nantheera Anantrasirichai,
- Abstract要約: 大気乱流(AT)は、監視画像の明瞭さと精度を低下させる。
視覚的品質を改善するために深層学習に基づく手法が提案されているが、新しい歪みは依然として大きな問題である。
本稿では,変形した特徴を補償し,可視化とオブジェクト検出を同時に改善するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.0622384724837355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Atmospheric Turbulence (AT) degrades the clarity and accuracy of surveillance imagery, posing challenges not only for visualization quality but also for object classification and scene tracking. Deep learning-based methods have been proposed to improve visual quality, but spatio-temporal distortions remain a significant issue. Although deep learning-based object detection performs well under normal conditions, it struggles to operate effectively on sequences distorted by atmospheric turbulence. In this paper, we propose a novel framework that learns to compensate for distorted features while simultaneously improving visualization and object detection. This end-to-end framework leverages and exchanges knowledge of low-level distorted features in the AT mitigator with semantic features extracted in the object detector. Specifically, in the AT mitigator a 3D Mamba-based structure is used to handle the spatio-temporal displacements and blurring caused by turbulence. Features are extracted in a pyramid manner during the mitigation stage and passed to the detector. Optimization is achieved through back-propagation in both the AT mitigator and object detector. Our proposed DMAT outperforms state-of-the-art AT mitigation and object detection systems up to a 15% improvement on datasets corrupted by generated turbulence.
- Abstract(参考訳): 大気乱流(AT)は、監視画像の明瞭さと精度を低下させ、可視化品質だけでなく、オブジェクト分類やシーントラッキングにも挑戦する。
視覚的品質を改善するために深層学習に基づく手法が提案されているが、時空間歪みは依然として大きな問題である。
深層学習に基づく物体検出は、通常の条件下では良好に機能するが、大気乱流によって歪んだシーケンスを効果的に操作することは困難である。
本稿では,物体の可視化と検出を同時に改善しつつ,歪んだ特徴を補うことを学習する新しいフレームワークを提案する。
このエンドツーエンドのフレームワークは、ATミチゲータの低レベルの歪曲した特徴の知識をオブジェクト検出器で抽出した意味的特徴と交換する。
特にATミチゲータでは、乱流による時空間変位やぼやけを3次元マンバ構造で処理する。
特徴は緩和段階でピラミッド状に抽出され、検出器に渡される。
最適化はATミチゲーターとオブジェクト検出器の両方のバックプロパゲーションによって達成される。
提案したDMATは, 発生した乱流によって破損したデータセットに対して, 最先端のAT緩和およびオブジェクト検出システムよりも15%向上した。
関連論文リスト
- FOAM: A General Frequency-Optimized Anti-Overlapping Framework for Overlapping Object Perception [7.258172311752019]
重なり合う物体知覚は、ランダムに重なり合う前景の特徴を分離し、背景の特徴を抑えつつ前景の特徴を抽出することを目的としている。
本稿では、よりテクスチャや輪郭情報を抽出する際のモデルを支援するために、一般周波数ベースのアンチオーバーラップフレームワーク(FOAM)を提案する。
具体的には、周波数空間変換器ブロック(FSTB)を設計し、周波数領域と空間領域の両方から特徴を同時に抽出し、ネットワークがフォアグラウンドからより多くのテクスチャ特徴をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2025-06-16T13:58:49Z) - WS-DETR: Robust Water Surface Object Detection through Vision-Radar Fusion with Detection Transformer [4.768265044725289]
水面オブジェクト検出は、ぼやけたエッジと多様なオブジェクトスケールの課題に直面します。
既存のアプローチは、モデルの堅牢性に悪影響を及ぼす、クロスモーダルな機能競合に悩まされている。
本稿では,SOTA(State-of-the-art)性能を実現する頑健なビジョンレーダ融合モデルWS-DETRを提案する。
論文 参考訳(メタデータ) (2025-04-10T04:16:46Z) - HazyDet: Open-Source Benchmark for Drone-View Object Detection with Depth-Cues in Hazy Scenes [54.24350833692194]
HazyDetは、ヘイジーな環境でドローンビューオブジェクトを検出するために特別に設計された、最初の大規模ベンチマークである。
本稿では,迷路による視覚劣化に対処するため,Depth-Conditioned Detector (DeCoDet)を提案する。
HazyDetは、検出アルゴリズムを前進させるための挑戦的で現実的なテストベッドを提供する。
論文 参考訳(メタデータ) (2024-09-30T00:11:40Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - MonoTDP: Twin Depth Perception for Monocular 3D Object Detection in
Adverse Scenes [49.21187418886508]
本論文は,モノTDP(MonoTDP)と呼ばれる悪シーンにおける2つの深度を知覚するモノクル3次元検出モデルを提案する。
まず、制御不能な気象条件を扱うモデルを支援するための適応学習戦略を導入し、様々な劣化要因による劣化を著しく抑制する。
そこで本研究では, シーン深度と物体深度を同時に推定する新たな2つの深度認識モジュールを提案する。
論文 参考訳(メタデータ) (2023-05-18T13:42:02Z) - Object recognition in atmospheric turbulence scenes [2.657505380055164]
乱流環境におけるオブジェクトの型を検知・分類するための歪み特徴を学習する新しいフレームワークを提案する。
具体的には、変形可能な畳み込みを利用して空間変位を処理する。
提案手法は平均精度(mAP)が30%を超えるベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-25T20:21:25Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳(メタデータ) (2022-07-20T17:09:16Z) - Multitask AET with Orthogonal Tangent Regularity for Dark Object
Detection [84.52197307286681]
暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。
自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。
我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2022-05-06T16:27:14Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳(メタデータ) (2021-01-07T07:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。