論文の概要: Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking

• arxiv url: http://arxiv.org/abs/2103.07302v1
• Date: Fri, 12 Mar 2021 14:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 13:21:23.328201
• Title: Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking
• Title（参考訳）: siamese infrared and visible light fusion network for rgb-t tracking
• Authors: Peng Jingchao, Zhao Haitao, Hu Zhengwei, Zhuang Yi, Wang Bofan
• Abstract要約: 本稿では,RBG-T画像追跡のためのシアム赤外可視光融合ネットワーク(SiamIVFN)を提案する。 SiamIVFNには、補体核融合ネットワーク(CFFN)とコントリビューション集約ネットワーク(CAN)の2つのメインワークが含まれている。 CFFNは機能レベルの融合ネットワークであり、RGB-Tイメージペアの誤配に対処することができる。 CANは様々な光条件下でトラッカーを堅牢にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the different photosensitive properties of infrared and visible light, the registered RGB-T image pairs shot in the same scene exhibit quite different characteristics. This paper proposes a siamese infrared and visible light fusion Network (SiamIVFN) for RBG-T image-based tracking. SiamIVFN contains two main subnetworks: a complementary-feature-fusion network (CFFN) and a contribution-aggregation network (CAN). CFFN utilizes a two-stream multilayer convolutional structure whose filters for each layer are partially coupled to fuse the features extracted from infrared images and visible light images. CFFN is a feature-level fusion network, which can cope with the misalignment of the RGB-T image pairs. Through adaptively calculating the contributions of infrared and visible light features obtained from CFFN, CAN makes the tracker robust under various light conditions. Experiments on two RGB-T tracking benchmark datasets demonstrate that the proposed SiamIVFN has achieved state-of-the-art performance. The tracking speed of SiamIVFN is 147.6FPS, the current fastest RGB-T fusion tracker.
• Abstract（参考訳）: 赤外線と可視光の感光性が異なるため、同じシーンで撮影されたrgb-t画像ペアは、非常に異なる特性を示す。 本稿では,RBG-T画像追跡のためのシアム赤外可視光融合ネットワーク(SiamIVFN)を提案する。 SiamIVFNは、補体核融合ネットワーク(CFFN)とコントリビューション集約ネットワーク(CAN)の2つの主要なサブネットワークを含んでいる。 CFFNは、赤外線画像と可視光画像から抽出した特徴を融合させるために、各層に対するフィルタを部分的に結合した2列多層畳み込み構造を用いる。 CFFNは機能レベルの融合ネットワークであり、RGB-Tイメージペアの誤配に対処することができる。 CFFNから得られる赤外および可視光特性の寄与を適応的に計算することにより、CANは様々な光条件下でロバストする。 2つのRGB-T追跡ベンチマークデータセットの実験は、提案されたSiamIVFNが最先端のパフォーマンスを達成したことを示している。 SiamIVFNの追跡速度は、現在の最速RGB-T融合トラッカーである147.6FPSである。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• Near-Infrared and Low-Rank Adaptation of Vision Transformers in Remote Sensing [3.2088888904556123]
  近赤外反射率(NIR)を測定するマルチスペクトルセンサを用いて植物の健康状態を動的に監視できる このような可能性にもかかわらず、高解像度のNIR画像の取得と注釈付けは、ディープニューラルネットワークのトレーニングにおいて重要な課題となっている。 本研究では、RGB領域で事前訓練された視覚変換器(ViT)バックボーンの利点について検討し、NIR領域の下流タスクに対する低ランク適応について検討した。
  論文  参考訳（メタデータ） (2024-05-28T07:24:07Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Robust Environment Perception for Automated Driving: A Unified Learning Pipeline for Visual-Infrared Object Detection [2.478658210785]
  我々は、頑健な物体検出のために、視覚と熱の両方の知覚ユニットを利用する。 本稿では,物体検出のために,視覚と熱の両方の知覚ユニットを利用する。
  論文  参考訳（メタデータ） (2022-06-08T15:02:58Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Dynamic Fusion Network for RGBT Tracking [1.160208922584163]
  RGBT追跡のキーポイントは、特徴抽出と可視像と赤外線像の特徴融合にある。 本稿では,2ストリーム構造を採用した新しい RGBT 追跡手法である Dynamic Fusion Network (DFNet) を提案する。 非共有畳み込みカーネルと共有畳み込みカーネルは、異なる画像対に応じて適応的に重み付けされ、まとめられる。
  論文  参考訳（メタデータ） (2021-09-16T01:46:33Z)
• TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization [49.521622399483846]
  汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。 提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-08-10T08:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。