論文の概要: Dynamic Fusion Network for RGBT Tracking
- arxiv url: http://arxiv.org/abs/2109.07662v1
- Date: Thu, 16 Sep 2021 01:46:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 13:59:36.003881
- Title: Dynamic Fusion Network for RGBT Tracking
- Title（参考訳）: RGBT追跡のための動的核融合ネットワーク
- Authors: Jingchao Peng, Haitao Zhao, Zhengwei Hu
- Abstract要約: RGBT追跡のキーポイントは、特徴抽出と可視像と赤外線像の特徴融合にある。
本稿では,2ストリーム構造を採用した新しい RGBT 追跡手法である Dynamic Fusion Network (DFNet) を提案する。
非共有畳み込みカーネルと共有畳み込みカーネルは、異なる画像対に応じて適応的に重み付けされ、まとめられる。
- 参考スコア（独自算出の注目度）: 1.160208922584163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For both visible and infrared images have their own advantages and
disadvantages, RGBT tracking has attracted more and more attention. The key
points of RGBT tracking lie in feature extraction and feature fusion of visible
and infrared images. Current RGBT tracking methods mostly pay attention to both
individual features (features extracted from images of a single camera) and
common features (features extracted and fused from an RGB camera and a thermal
camera), while pay less attention to the different and dynamic contributions of
individual features and common features for different sequences of registered
image pairs. This paper proposes a novel RGBT tracking method, called Dynamic
Fusion Network (DFNet), which adopts a two-stream structure, in which two
non-shared convolution kernels are employed in each layer to extract individual
features. Besides, DFNet has shared convolution kernels for each layer to
extract common features. Non-shared convolution kernels and shared convolution
kernels are adaptively weighted and summed according to different image pairs,
so that DFNet can deal with different contributions for different sequences.
DFNet has a fast speed, which is 28.658 FPS. The experimental results show that
when DFNet only increases the Mult-Adds of 0.02% than the
non-shared-convolution-kernel-based fusion method, Precision Rate (PR) and
Success Rate (SR) reach 88.1% and 71.9% respectively.
- Abstract（参考訳）: 可視画像と赤外線画像の両方に独自の利点と欠点があるため、RGBTトラッキングはますます注目を集めている。
RGBT追跡の重要な点は、特徴抽出と可視画像と赤外線画像の融合にある。
現在のrgbt追跡手法は、主に個々の特徴(単一のカメラの画像から抽出された特徴)と一般的な特徴(rgbカメラとサーマルカメラから抽出・融合された特徴)の両方に注意を向けるが、個々の特徴の異なるダイナミックな貢献や、登録された画像ペアの異なるシーケンスに共通する特徴にはあまり注意を払わない。
本稿では,各層に2つの非共有畳み込みカーネルを用いて個々の特徴を抽出する,動的フュージョンネットワーク(DFNet)と呼ばれる新しいRGBT追跡手法を提案する。
さらにDFNetは、共通の特徴を抽出するために、各レイヤでコンボリューションカーネルを共有している。
非共有畳み込みカーネルと共有畳み込みカーネルは、異なる画像ペアに応じて適応的に重み付けされ、集計されるので、dfnetは異なるシーケンスに対する異なる貢献を処理できる。
DFNetの速度は28.658 FPSである。
実験の結果,dfnetのマルト添加量が非共有畳み込み核融合法より0.02%増加した場合,精度率 (pr) と成功率 (sr) はそれぞれ88.1%, 71.9%であった。
関連論文リスト
- FE-UNet: Frequency Domain Enhanced U-Net with Segment Anything Capability for Versatile Image Segmentation [50.9040167152168]
CNNのコントラスト感度関数を実験的に定量化し,人間の視覚システムと比較した。
本稿ではウェーブレット誘導分光ポーリングモジュール(WSPM)を提案する。
人間の視覚系をさらにエミュレートするために、周波数領域拡張受容野ブロック(FE-RFB)を導入する。
本研究では,SAM2 をバックボーンとし,Hiera-Large を事前学習ブロックとして組み込んだ FE-UNet を開発した。
論文 参考訳（メタデータ） (2025-02-06T07:24:34Z) - DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。
最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。
MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
論文 参考訳（メタデータ） (2024-09-18T02:14:08Z) - Unsupervised convolutional neural network fusion approach for change
detection in remote sensing images [1.892026266421264]
我々は、変化検出のための全く教師なし浅層畳み込みニューラルネットワーク(USCNN)融合アプローチを導入する。
我々のモデルには3つの特徴がある: トレーニングプロセス全体は教師なしで行われ、ネットワークアーキテクチャは浅く、目的関数はスパースである。
4つの実リモートセンシングデータセットの実験結果から,提案手法の有効性と有効性が確認された。
論文 参考訳（メタデータ） (2023-11-07T03:10:17Z) - SkipcrossNets: Adaptive Skip-cross Fusion for Road Detection [25.94434460779164]
マルチモーダル・フュージョンは、自動運転タスクにますます利用されている。
本研究では,Skip-cross Networks (SkipcrossNets) と呼ばれる新しい融合アーキテクチャを提案する。
スキップクロス融合戦略の利点は、KITTIとA2D2データセットへの適用を通じて示される。
論文 参考訳（メタデータ） (2023-08-24T15:34:31Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-24T03:50:37Z) - Learning a Graph Neural Network with Cross Modality Interaction for
Image Fusion [23.296468921842948]
近赤外・可視画像融合は、多モードイメージング技術の分野において、徐々に重要なフォークであることが証明されている。
本稿では,IGNetと呼ばれる,核融合のためのクロスモーダル間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。
我々のIGNetは、平均2.59%のmAP@.5と7.77%のmIoUを検出およびセグメンテーションで、視覚的に魅力的な融合画像を生成することができる。
論文 参考訳（メタデータ） (2023-08-07T02:25:06Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-11-26T02:40:28Z) - Learning Hierarchical Graph Representation for Image Manipulation
Detection [50.04902159383709]
画像操作検出の目的は、画像内の操作された領域を特定し、特定することである。
最近のアプローチでは、画像に残っている改ざんするアーティファクトをキャプチャするために、洗練された畳み込みニューラルネットワーク(CNN)が採用されている。
本稿では2つの並列分岐からなる階層型グラフ畳み込みネットワーク(HGCN-Net)を提案する。
論文 参考訳（メタデータ） (2022-01-15T01:54:25Z) - Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。
2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。
6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2021-08-18T14:14:22Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳（メタデータ） (2021-07-22T03:10:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。