論文の概要: Learning Dual-Fused Modality-Aware Representations for RGBD Tracking

• arxiv url: http://arxiv.org/abs/2211.03055v1
• Date: Sun, 6 Nov 2022 07:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:20:19.185949
• Title: Learning Dual-Fused Modality-Aware Representations for RGBD Tracking
• Title（参考訳）: RGBD追跡のためのデュアルフューズモード対応表現の学習
• Authors: Shang Gao and Jinyu Yang and Zhe Li and Feng Zheng and Ale\v{s} Leonardis and Jingkuan Song
• Abstract要約: 従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。 既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。 DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
• 参考スコア（独自算出の注目度）: 67.14537242378988
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the development of depth sensors in recent years, RGBD object tracking has received significant attention. Compared with the traditional RGB object tracking, the addition of the depth modality can effectively solve the target and background interference. However, some existing RGBD trackers use the two modalities separately and thus some particularly useful shared information between them is ignored. On the other hand, some methods attempt to fuse the two modalities by treating them equally, resulting in the missing of modality-specific features. To tackle these limitations, we propose a novel Dual-fused Modality-aware Tracker (termed DMTracker) which aims to learn informative and discriminative representations of the target objects for robust RGBD tracking. The first fusion module focuses on extracting the shared information between modalities based on cross-modal attention. The second aims at integrating the RGB-specific and depth-specific information to enhance the fused features. By fusing both the modality-shared and modality-specific information in a modality-aware scheme, our DMTracker can learn discriminative representations in complex tracking scenes. Experiments show that our proposed tracker achieves very promising results on challenging RGBD benchmarks. Code is available at \url{https://github.com/ShangGaoG/DMTracker}.
• Abstract（参考訳）: 近年,深度センサの開発により,RGBD物体追跡が注目されている。 従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加はターゲットとバックグラウンドの干渉を効果的に解決することができる。 しかし、既存のrgbdトラッカーは2つのモードを別々に使っているため、特に有用な共有情報は無視される。 一方、等しく扱うことによって2つのモダリティを融合させようとする手法もあり、モダリティ固有の特徴が欠如している。 これらの制約に対処するために、ターゲットオブジェクトの情報的および識別的表現を学習し、堅牢なRGBDトラッキングを実現するために、新しいDMTracker(Dual-fused Modality-aware Tracker)を提案する。 第1の融合モジュールは、モーダル間の共有情報の抽出に重点を置いている。 第2の目標は、RGB固有の情報と深度固有の情報を統合して、融合した機能を強化することである。 モダリティ認識方式では,モダリティ共有情報とモダリティ固有情報の両方を融合させることで,複雑なトラッキングシーンにおける識別表現を学習することができる。 実験の結果,提案手法はrgbdベンチマークにおいて非常に有望な結果が得られることがわかった。 コードは \url{https://github.com/ShangGaoG/DMTracker} で入手できる。

関連論文リスト

• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• RGB-T Tracking Based on Mixed Attention [5.151994214135177]
  RGB-Tトラッキングには、可視光と熱の両モードの画像の使用が含まれる。 本稿では,モーダルの相補的な融合を実現するための混合注意機構に基づくRGB-Tトラッカーを提案する。
  論文  参考訳（メタデータ） (2023-04-09T15:59:41Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• RGBD Object Tracking: An In-depth Review [89.96221353160831]
  まず、RGBD融合、深度利用、追跡フレームワークなど、さまざまな視点からRGBDオブジェクトトラッカーをレビューする。 我々はRGBDトラッカーの代表セットをベンチマークし、その性能に基づいて詳細な分析を行う。
  論文  参考訳（メタデータ） (2022-03-26T18:53:51Z)
• Visual Object Tracking on Multi-modal RGB-D Videos: A Review [16.098468526632473]
  本研究の目的は,RGB-D追跡研究の相対的知識を要約することである。 具体的には、関連するRGB-D追跡ベンチマークデータセットと、対応するパフォーマンス測定を一般化する。
  論文  参考訳（メタデータ） (2022-01-23T08:02:49Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
  我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。 外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。 最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2020-07-04T08:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。