論文の概要: Unveiling the Limits of Alignment: Multi-modal Dynamic Local Fusion Network and A Benchmark for Unaligned RGBT Video Object Detection

• arxiv url: http://arxiv.org/abs/2410.12143v1
• Date: Wed, 16 Oct 2024 01:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:21.826516
• Title: Unveiling the Limits of Alignment: Multi-modal Dynamic Local Fusion Network and A Benchmark for Unaligned RGBT Video Object Detection
• Title（参考訳）: 配向限界の解き方:マルチモーダル動的局所核融合ネットワークと不整合RGBTビデオオブジェクト検出のためのベンチマーク
• Authors: Qishun Wang, Zhengzheng Tu, Kunpeng Wang, Le Gu, Chuanwang Guo,
• Abstract要約: 現在のRGB-Thermal Video Object Detection (RGBT VOD) 法は、画像レベルで手動で調整するデータに依存する。 不整合RGBTペアを扱うために設計されたMDLNet(Multi-modal Dynamic Local fusion Network)を提案する。 MDLNet と State-of-the-art (SOTA) モデルとの総合的な評価と比較を行い,MDLNet の有効性を実証した。
• 参考スコア（独自算出の注目度）: 5.068440399797739
• License:
• Abstract: Current RGB-Thermal Video Object Detection (RGBT VOD) methods still depend on manually aligning data at the image level, which hampers its practical application in real-world scenarios since image pairs captured by multispectral sensors often differ in both fields of view and resolution. To address this limitation, we propose a Multi-modal Dynamic Local fusion Network (MDLNet) designed to handle unaligned RGBT image pairs. Specifically, our proposed Multi-modal Dynamic Local Fusion (MDLF) module includes a set of predefined boxes, each enhanced with random Gaussian noise to generate a dynamic box. Each box selects a local region from the original high-resolution RGB image. This region is then fused with the corresponding information from another modality and reinserted into the RGB. This method adapts to various data alignment scenarios by interacting with local features across different ranges. Simultaneously, we introduce a Cascaded Temporal Scrambler (CTS) within an end-to-end architecture. This module leverages consistent spatiotemporal information from consecutive frames to enhance the representation capability of the current frame while maintaining network efficiency. We have curated an open dataset called UVT-VOD2024 for unaligned RGBT VOD. It consists of 30,494 pairs of unaligned RGBT images captured directly from a multispectral camera. We conduct a comprehensive evaluation and comparison with MDLNet and state-of-the-art (SOTA) models, demonstrating the superior effectiveness of MDLNet. We will release our code and UVT-VOD2024 to the public for further research.
• Abstract（参考訳）: 現在のRGB-Thermal Video Object Detection (RGBT VOD) 法は、視界と解像度の両面でしばしば異なるため、実世界のシナリオにおける実際の応用を妨げている。 この制限に対処するため、不整合RGBT画像ペアを扱うために設計されたMDLNet(Multi-modal Dynamic Local fusion Network)を提案する。 具体的には,マルチモーダルな動的局所融合 (MDLF) モジュールは事前定義されたボックスの集合を含み,それぞれがランダムなガウス雑音で拡張されて動的ボックスを生成する。 各ボックスは、元の高解像度RGB画像からローカル領域を選択する。 この領域は、他のモダリティから対応する情報と融合し、RGBに再挿入される。 この方法は、異なる範囲にわたる局所的な特徴と相互作用することで、様々なデータアライメントシナリオに適応する。 同時に、エンド・ツー・エンドアーキテクチャにカスケードテンポラル・スクランブラ(CTS)を導入する。 このモジュールは連続フレームからの一貫した時空間情報を利用して、ネットワーク効率を維持しながら、現在のフレームの表現能力を向上する。 我々は、不整合なRGBTVOODのためのUVT-VOD2024と呼ばれるオープンデータセットをキュレートした。 これは30,494対のRGBT画像で構成され、マルチスペクトルカメラから直接撮影される。 MDLNet と State-of-the-art (SOTA) モデルとの総合的な評価と比較を行い,MDLNet の有効性を実証した。 さらなる研究のために、コードとUVT-VOD2024を公開します。

関連論文リスト

• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching [2.400446821380503]
  我々はRGB画像とポイントクラウドの両方のディスクリプタを学習するための効率的なフレームワークを導入する。 視覚状態空間モデル(VMamba)をバックボーンとして、ピクセルビューとシーンの共同トレーニング戦略を採用している。 視覚的な3Dポイントオーバーラップ戦略は、マルチビューの監視のために、ポイントクラウドビューとRGBイメージの類似性を定量化するように設計されている。
  論文  参考訳（メタデータ） (2024-10-08T18:31:41Z)
• ViDSOD-100: A New Dataset and a Baseline Model for RGB-D Video Salient Object Detection [51.16181295385818]
  まず、注釈付きRGB-D video SODOD(DSOD-100)データセットを収集し、合計9,362フレーム内に100の動画を含む。 各ビデオのフレームはすべて、高品質なサリエンシアノテーションに手動で注釈付けされる。 本稿では,RGB-Dサリアンオブジェクト検出のための新しいベースラインモデル,attentive triple-fusion network (ATF-Net)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T12:09:43Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning [19.346284003982035]
  教師なし画像とビデオトーンマッピングのための統合フレームワーク(IVTMNet)を提案する。 ビデオトーンマッピングでは,時間的相関を効率的に活用するための時間的特徴置換(TFR)モジュールを提案する。 実験結果から,本手法は最先端画像やビデオトーンマッピング法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-13T17:45:39Z)
• TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization [49.521622399483846]
  汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。 提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-08-10T08:22:05Z)
• End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
  ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。 我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。 本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。