Fugu-MT 論文翻訳(概要): Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset

論文の概要: Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset

arxiv url: http://arxiv.org/abs/2312.14446v1
Date: Fri, 22 Dec 2023 05:22:33 GMT
ステータス: 処理完了
システム内更新日: 2023-12-25 16:03:04.995379
Title: Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset
Title（参考訳）: modality-aware fusion networkと大規模データセットによるクロスモーダルオブジェクト追跡
Authors: Lei Liu, Mengya Zhang, Cheng Li, Chenglong Li, and Jin Tang
Abstract要約: 我々は、Modality-Aware Fusion Network (MAFNet) と呼ばれる適応型クロスモーダル物体追跡アルゴリズムを提案する。 MAFNetは、適応重み付け機構を用いて、RGBとNIRの両方からの情報を効率的に統合する。
参考スコア（独自算出の注目度）: 20.729414075628814
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Visual tracking often faces challenges such as invalid targets and decreased performance in low-light conditions when relying solely on RGB image sequences. While incorporating additional modalities like depth and infrared data has proven effective, existing multi-modal imaging platforms are complex and lack real-world applicability. In contrast, near-infrared (NIR) imaging, commonly used in surveillance cameras, can switch between RGB and NIR based on light intensity. However, tracking objects across these heterogeneous modalities poses significant challenges, particularly due to the absence of modality switch signals during tracking. To address these challenges, we propose an adaptive cross-modal object tracking algorithm called Modality-Aware Fusion Network (MAFNet). MAFNet efficiently integrates information from both RGB and NIR modalities using an adaptive weighting mechanism, effectively bridging the appearance gap and enabling a modality-aware target representation. It consists of two key components: an adaptive weighting module and a modality-specific representation module......
Abstract（参考訳）: ビジュアルトラッキングは、RGB画像シーケンスのみに依存する場合、無効なターゲットや低照度環境でのパフォーマンス低下といった課題に直面することが多い。深度データや赤外線データといった追加のモダリティは有効であることが証明されているが、既存のマルチモーダルイメージングプラットフォームは複雑で、現実の応用性に欠ける。対照的に、監視カメラで一般的に使用される近赤外線(NIR)イメージングは、光強度に基づいてRGBとNIRを切り替えることができる。しかしながら、これらの不均質なモダリティを横断するオブジェクトの追跡は、特に追跡中にモダリティスイッチ信号がないため、大きな課題となる。これらの課題に対処するため,我々はmodality-aware fusion network (mafnet) と呼ばれる適応型クロスモーダルオブジェクトトラッキングアルゴリズムを提案する。 MAFNetは、適応重み付け機構を用いてRGBとNIRの両方のモダリティからの情報を効率的に統合し、外観ギャップを効果的にブリッジし、モダリティ対応ターゲット表現を可能にする。適応重み付けモジュールとモダリティ固有の表現モジュール...の2つのキーコンポーネントで構成されている。

関連論文リスト

DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
論文参考訳（メタデータ） (2024-03-01T07:03:27Z)
Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection [20.12812979315803]
可視光(RGB)と熱赤外(IR)画像の両方を利用した物体検出が注目されている。既存の多くのマルチモーダルオブジェクト検出手法は、RGBとIR画像をディープニューラルネットワークに直接入力する。両モダリティから特徴を浄化・融合する新しい粗大な視点を提案する。
論文参考訳（メタデータ） (2024-01-19T14:49:42Z)
Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文参考訳（メタデータ） (2024-01-03T17:11:27Z)
Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文参考訳（メタデータ） (2023-12-17T05:27:31Z)
Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
論文参考訳（メタデータ） (2023-10-21T00:56:11Z)
Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification [26.71900654115498]
多様な埋め込み拡張ネットワーク(DEEN)と呼ばれる,埋め込み空間における新たな拡張ネットワークを提案する。提案したDEENは,多種多様な埋め込みを効果的に生成し,情報的特徴表現を学習する。 9RGB/IRカメラでキャプチャされた1,064個の識別された46,767個のバウンディングボックスを含む低照度クロスモダリティ(LLCM)データセットを提供する。
論文参考訳（メタデータ） (2023-03-25T14:24:56Z)
Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。 DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文参考訳（メタデータ） (2022-11-06T07:59:07Z)
CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文参考訳（メタデータ） (2022-10-06T11:59:19Z)
RGB-Event Fusion for Moving Object Detection in Autonomous Driving [3.5397758597664306]
移動物体検出(MOD)は安全な自動運転を実現するための重要な視覚課題である。センサ技術の最近の進歩、特にイベントカメラは、移動物体をより良くモデル化するための従来のカメラアプローチを自然に補完することができる。我々は、より堅牢なMODを実現するために、2つの相補的モダリティを共同で活用する新しいRGB-Event fusion NetworkであるRENetを提案する。
論文参考訳（メタデータ） (2022-09-17T12:59:08Z)
Cross-Modal Object Tracking: Modality-Aware Representations and A Unified Benchmark [8.932487291107812]
多くの視覚系では、視覚的トラッキングはしばしばRGB画像シーケンスに基づいており、一部のターゲットは低照度環境では無効である。追従過程におけるRGBとNIRの出現ギャップを軽減するために,モダリティを意識したターゲット表現を学習する新しいアルゴリズムを提案する。無料の学術的利用のためにデータセットをリリースし、データセットのダウンロードリンクとコードを近くリリースします。
論文参考訳（メタデータ） (2021-11-08T03:58:55Z)
Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。