論文の概要: HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection With Multichannel Audio and Multiscale Visual Cues

• arxiv url: http://arxiv.org/abs/2504.16102v2
• Date: Thu, 23 Oct 2025 20:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:14.864954
• Title: HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection With Multichannel Audio and Multiscale Visual Cues
• Title（参考訳）: HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection with Multichannel Audio and Multiscale Visual Cues
• Authors: Xiwen Li, Xiaoya Tang, Tolga Tasdizen,
• Abstract要約: アイドリング車両検出(IVD)は、監視ビデオとマルチチャネルオーディオを使用して、ピックアップゾーン内の車両のローカライズと分類を行う。 IVDは3つの課題に直面している: (i) 視覚的手がかりと音声パターンの不均一性、 (ii) 多分解能検出を必要とする大規模なボックススケール変動、 (iii) 複合検出ヘッドによるトレーニング不安定性。 HAVT-IVDは視覚的特徴ピラミッドと切り離された頭部を備えた異種認識ネットワークである。
• 参考スコア（独自算出の注目度）: 1.0705399532413615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Idling vehicle detection (IVD) uses surveillance video and multichannel audio to localize and classify vehicles in the last frame as moving, idling, or engine-off in pick-up zones. IVD faces three challenges: (i) modality heterogeneity between visual cues and audio patterns; (ii) large box scale variation requiring multi-resolution detection; and (iii) training instability due to coupled detection heads. The previous end-to-end (E2E) model with simple CBAM-based bi-modal attention fails to handle these issues and often misses vehicles. We propose HAVT-IVD, a heterogeneity-aware network with a visual feature pyramid and decoupled heads. Experiments show HAVT-IVD improves mAP by 7.66 over the disjoint baseline and 9.42 over the E2E baseline.
• Abstract（参考訳）: アイドリング車両検出(IVD)は、監視ビデオとマルチチャネルオーディオを使用して、最終フレーム内の車両を、ピックアップゾーンにおける移動、アイドリング、エンジンオフとしてローカライズし、分類する。 IVDは3つの課題に直面している。 (i)視覚的手がかりと音声パターンの異質性 (二)マルチレゾリューション検出を必要とする大規模なボックススケール変動、及び 三 複合検知ヘッドによる訓練不安定性 CBAMベースのバイモーダルアテンションを持つ以前のエンド・ツー・エンド(E2E)モデルはこれらの問題に対処できず、しばしば車両を見逃してしまう。 HAVT-IVDは視覚的特徴ピラミッドと切り離された頭部を備えた異種ネットワークである。 実験の結果、HAVT-IVDは分離基線を7.66倍、E2E基線を9.42倍改善した。

関連論文リスト

• Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
  マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。 既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。 本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
  論文  参考訳（メタデータ） (2025-08-03T12:06:47Z)
• Towards Intelligent Transportation with Pedestrians and Vehicles In-the-Loop: A Surveillance Video-Assisted Federated Digital Twin Framework [62.47416496137193]
  本稿では,歩行者や車いすによるITSを支援するための監視ビデオ支援型デジタルツイン(SV-FDT)フレームワークを提案する。 i)複数のソースからトラフィック監視ビデオを収集するエンドレイヤ、(ii)セマンティックセグメンテーションに基づく視覚理解、ツインエージェントベースのインタラクションモデリング、およびローカルデジタルツインシステム(LDTS)をローカルで作成するエッジレイヤ、(iii)異なるリージョンにわたるLDTSを統合してグローバルDTモデルをリアルタイムで構築するクラウドレイヤの3層で構成されている。
  論文  参考訳（メタデータ） (2025-03-06T07:36:06Z)
• Joint Audio-Visual Idling Vehicle Detection with Streamlined Input Dependencies [2.8517252798391177]
  アイドリング車両検出は、不要なアイドリングの監視と低減に有用である。 本稿では,エンドツーエンドの音声-視覚的IVDタスクを提案する。 音声-視覚的車両追跡のような機能共起タスクとは異なり、我々のIVDタスクは相補的な機能に対処する。
  論文  参考訳（メタデータ） (2024-10-28T16:13:44Z)
• EchoTrack: Auditory Referring Multi-Object Tracking for Autonomous Driving [64.58258341591929]
  聴覚参照マルチオブジェクトトラッキング(AR-MOT)は、自律運転において難しい問題である。 私たちは、デュアルストリーム・ビジョン・トランスフォーマーを備えたエンドツーエンドのAR-MOTフレームワークであるEchoTrackを提案しました。 大規模AR-MOTベンチマークの最初のセットを確立する。
  論文  参考訳（メタデータ） (2024-02-28T12:50:16Z)
• Vanishing-Point-Guided Video Semantic Segmentation of Driving Scenes [70.08318779492944]
  私たちは、より効果的なセグメンテーションのために消滅点(VP)を最初に利用しました。 当社の新しいVSS用ネットワークであるVPSegには,この静的および動的VPプリエントを正確に利用する2つのモジュールが組み込まれています。
  論文  参考訳（メタデータ） (2024-01-27T01:01:58Z)
• Text-Driven Traffic Anomaly Detection with Temporal High-Frequency Modeling in Driving Videos [22.16190711818432]
  本稿では,ビデオクリップをテキストプロンプトと整合させる新しい単一ステージ手法であるTHFを紹介し,交通異常検出の新しい視点を提供する。 従来の手法とは異なり、我々の手法の教師付き信号は1ホットベクトルではなく言語から派生しており、より包括的な表現を提供する。 提案したTTHFは,DoTAデータセット上で,+5.4%のAUCで,最先端の競合よりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-07T15:47:19Z)
• Exploring Driving Behavior for Autonomous Vehicles Based on Gramian Angular Field Vision Transformer [12.398902878803034]
  本稿では,運転動作の分析を目的としたGAF-ViTモデルを提案する。 提案したViTモデルは、Transformer Module、Channel Attention Module、Multi-Channel ViT Moduleの3つの主要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2023-10-21T04:24:30Z)
• M$^2$DAR: Multi-View Multi-Scale Driver Action Recognition with Vision Transformer [5.082919518353888]
  本稿では,自然主義的運転行動認識と動画のローカライゼーションのためのマルチビュー・マルチスケールフレームワークを提案する。 本システムでは,マルチスケールトランスフォーマーに基づく動作認識ネットワークを特徴とし,頑健な階層表現を学習する。
  論文  参考訳（メタデータ） (2023-05-13T02:38:15Z)
• CoBEVT: Cooperative Bird's Eye View Semantic Segmentation with Sparse Transformers [36.838065731893735]
  CoBEVTは、BEVマップ予測を協調的に生成できる最初の汎用マルチエージェント認識フレームワークである。 CoBEVTは協調的BEVセマンティックセグメンテーションのための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:28Z)
• V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer [58.71845618090022]
  我々は、道路上のエージェント間で情報を融合するために、V2X-ViTという全体論的アテンションモデルを構築した。 V2X-ViTは異質なマルチエージェント自己アテンションとマルチスケールウィンドウ自己アテンションの交互層から構成される。 我々のアプローチを検証するために、我々は大規模なV2X知覚データセットを作成します。
  論文  参考訳（メタデータ） (2022-03-20T20:18:25Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。