論文の概要: Dynamic Disentangled Fusion Network for RGBT Tracking

• arxiv url: http://arxiv.org/abs/2412.08441v1
• Date: Wed, 11 Dec 2024 15:03:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:14.477795
• Title: Dynamic Disentangled Fusion Network for RGBT Tracking
• Title（参考訳）: RGBT追跡のための動的遠絡核融合ネットワーク
• Authors: Chenglong Li, Tao Wang, Zhaodong Ding, Yun Xiao, Jin Tang,
• Abstract要約: 本研究では,DDFNetと呼ばれる新しい動的遠方核融合ネットワークを提案し,その融合過程を複数の動的核融合モデルに分解する。 特に,RGBと熱機能を統合する6つの属性ベース融合モデルを6つの難解なシナリオで設計する。 ベンチマークデータセットによる実験結果は、DDFNetが他の最先端手法に対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 26.99387895981277
• License:
• Abstract: RGBT tracking usually suffers from various challenging factors of low resolution, similar appearance, extreme illumination, thermal crossover and occlusion, to name a few. Existing works often study complex fusion models to handle challenging scenarios, but can not well adapt to various challenges, which might limit tracking performance. To handle this problem, we propose a novel Dynamic Disentangled Fusion Network called DDFNet, which disentangles the fusion process into several dynamic fusion models via the challenge attributes to adapt to various challenging scenarios, for robust RGBT tracking. In particular, we design six attribute-based fusion models to integrate RGB and thermal features under the six challenging scenarios respectively.Since each fusion model is to deal with the corresponding challenges, such disentangled fusion scheme could increase the fusion capacity without the dependence on large-scale training data. Considering that every challenging scenario also has different levels of difficulty, we propose to optimize the combination of multiple fusion units to form each attribute-based fusion model in a dynamic manner, which could well adapt to the difficulty of the corresponding challenging scenario. To address the issue that which fusion models should be activated in the tracking process, we design an adaptive aggregation fusion module to integrate all features from attribute-based fusion models in an adaptive manner with a three-stage training algorithm. In addition, we design an enhancement fusion module to further strengthen the aggregated feature and modality-specific features. Experimental results on benchmark datasets demonstrate the effectiveness of our DDFNet against other state-of-the-art methods.
• Abstract（参考訳）: RGBT追跡は通常、低解像度、類似した外観、極端な照明、熱的交叉、閉塞といった様々な困難な要因に悩まされる。 既存の研究はしばしば、挑戦的なシナリオを扱うために複雑な融合モデルを研究するが、様々な課題にうまく適応できないため、追跡性能が制限される可能性がある。 この問題に対処するため, DDFNet と呼ばれる新しい動的遠方核融合ネットワークを提案する。このネットワークは, 核融合過程を複数の動的融合モデルに分散させ, 様々な挑戦シナリオに適応し, 堅牢なRGBT追跡を行う。 特に6つの属性ベース核融合モデルを設計し,RGBと熱的特徴をそれぞれ6つの挑戦シナリオで統合する。 難解なシナリオはすべて異なるレベルの難易度を持つことを考慮し、複数の融合ユニットの組み合わせを動的に各属性ベースの融合モデルを形成するよう最適化することを提案する。 追従過程において融合モデルが活性化されるべき問題に対処するため,属性に基づく融合モデルから得られる全ての特徴を3段階の学習アルゴリズムで適応的に統合する適応集約融合モジュールを設計する。 さらに,集約された特徴とモダリティ固有の特徴をさらに強化する拡張融合モジュールを設計する。 ベンチマークデータセットによる実験結果は、DDFNetが他の最先端手法に対して有効であることを示す。

関連論文リスト

• Conditional Controllable Image Fusion [56.4120974322286]
  条件付き制御可能核融合(CCF)フレームワーク。 CCFは、実際には個々の個人に対して特定の核融合の制約を課している。 様々なシナリオにまたがる一般融合タスクにおける有効性を検証する実験。
  論文  参考訳（メタデータ） (2024-11-03T13:56:15Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Learning Adaptive Fusion Bank for Multi-modal Salient Object Detection [19.89237876061433]
  マルチモーダル・サリエント物体検出(MSOD)は、可視光源を深度や熱赤外と統合することにより、塩分検出性能を向上させることを目的としている。 既存の方法は通常、特定の問題や課題を扱うために異なる融合スキームを設計する。 本稿では,異なる課題を同時に扱うための基本核融合スキームの集合から,相補的な利点をフル活用する新しい適応核融合銀行を提案する。
  論文  参考訳（メタデータ） (2024-06-03T09:11:34Z)
• Reliable Object Tracking by Multimodal Hybrid Feature Extraction and Transformer-Based Fusion [18.138433117711177]
  本稿では,信頼度の高い単一オブジェクト追跡にフレームイベントベースのデータを利用する新しいマルチモーダルハイブリッドトラッカー(MMHT)を提案する。 MMHTモデルは、人工ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)からなるハイブリッドバックボーンを使用して、異なる視覚モードから支配的な特徴を抽出する。 MMHTモデルは,他の最先端手法と比較して,競争性能を示すことを示した。
  論文  参考訳（メタデータ） (2024-05-28T07:24:56Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• AFter: Attention-based Fusion Router for RGBT Tracking [22.449878625622844]
  既存のRGBT追跡手法は、マルチモーダル機能を統合するために固定核融合構造を広く採用している。 AFterと呼ばれる新しいemphAttention-based emphFusion rouemphterを開発し、融合構造を最適化し、挑戦的なシナリオに適応する。 特に、階層的注意ネットワークに基づく融合構造空間を設計し、融合操作に対応する各注目ベース融合ユニットと、融合構造に対応するこれらの注目ユニットの組み合わせを設計する。
  論文  参考訳（メタデータ） (2024-05-04T17:24:09Z)
• FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [29.130355774088205]
  FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。 多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
  論文  参考訳（メタデータ） (2024-02-05T17:37:46Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Deep Model Fusion: A Survey [37.39100741978586]
  Deep Model fusion/mergingは、複数のディープラーニングモデルのパラメータや予測を単一のモデルにマージする、新たなテクニックである。 高い計算コスト、高次元パラメータ空間、異なる異種モデル間の干渉など、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2023-09-27T14:40:12Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。