論文の概要: Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks
- arxiv url: http://arxiv.org/abs/2312.16244v3
- Date: Wed, 20 Mar 2024 06:50:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 21:58:15.392165
- Title: Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks
- Title（参考訳）: Modality-missing RGBT Tracking: Invertible Prompt Learningと高品質ベンチマーク
- Authors: Andong Lu, Jiacong Zhao, Chenglong Li, Jin Tang, Bin Luo,
- Abstract要約: モーダル情報は、熱センサーの自己校正やデータ伝送誤差などの要因によって見逃される可能性がある。
本稿では、コンテンツ保存プロンプトをよく訓練された追跡モデルに統合する、新しい非可逆的プロンプト学習手法を提案する。
提案手法は,最先端手法と比較して,大幅な性能向上を実現している。
- 参考スコア（独自算出の注目度）: 21.139161163767884
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Current RGBT tracking research relies on the complete multi-modal input, but modal information might miss due to some factors such as thermal sensor self-calibration and data transmission error, called modality-missing challenge in this work. To address this challenge, we propose a novel invertible prompt learning approach, which integrates the content-preserving prompts into a well-trained tracking model to adapt to various modality-missing scenarios, for robust RGBT tracking. Given one modality-missing scenario, we propose to utilize the available modality to generate the prompt of the missing modality to adapt to RGBT tracking model. However, the cross-modality gap between available and missing modalities usually causes semantic distortion and information loss in prompt generation. To handle this issue, we design the invertible prompter by incorporating the full reconstruction of the input available modality from the generated prompt. To provide a comprehensive evaluation platform, we construct several high-quality benchmark datasets, in which various modality-missing scenarios are considered to simulate real-world challenges. Extensive experiments on three modality-missing benchmark datasets show that our method achieves significant performance improvements compared with state-of-the-art methods. We have released the code and simulation datasets at: \href{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}.
- Abstract（参考訳）: 現在のRGBT追跡研究は、完全なマルチモーダル入力に依存しているが、熱センサーの自己校正やデータ伝送エラーなどの要因により、モーダル情報は失われる可能性がある。
この課題に対処するために,コンテンツ保存プロンプトをよく訓練されたトラッキングモデルに統合して,RGBTの堅牢なトラッキングを実現する,新しい非可逆的プロンプト学習手法を提案する。
そこで本研究では,RGBT追跡モデルに適応するために,モダリティを欠落したモダリティのプロンプトを生成するために利用可能なモダリティを利用する手法を提案する。
しかしながら、利用可能なモダリティと欠落したモダリティの間の相互モダリティギャップは、通常、即時生成において意味的歪みと情報損失を引き起こす。
この問題に対処するために、入力可能モードの完全な再構成を生成プロンプトから組み込むことにより、可逆プロンプトを設計する。
総合的な評価プラットフォームとして,実世界の課題をシミュレートするために,様々なモダリティを欠くシナリオを考慮した,高品質なベンチマークデータセットを構築した。
3つのModality-missingベンチマークデータセットの大規模な実験により,本手法は最先端の手法と比較して,大幅な性能向上を実現していることが示された。
コードとシミュレーションデータセットは以下の通りである。 \href{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}{https://github.com/Alexadlu/Modality-missing-RGBT-Tracking.git}。
関連論文リスト
- Middle Fusion and Multi-Stage, Multi-Form Prompts for Robust RGB-T Tracking [1.8843687952462744]
M3PTは、ミドルフュージョンとマルチモーダル、マルチステージの視覚的プロンプトを活用する新しいRGB-Tプロンプトトラッキング手法である。
メタフレームワークに基づいて、複数のフレキシブルなプロンプト戦略を用いて、事前訓練されたモデルを適用し、ユニモーダルパターンの包括的探索を行う。
論文 参考訳（メタデータ） (2024-03-27T02:06:25Z) - Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。
本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。
さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
論文 参考訳（メタデータ） (2024-02-26T05:50:43Z) - Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。
我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。
本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文 参考訳（メタデータ） (2023-12-17T05:27:31Z) - Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Incomplete Data Scenarios [23.43319138048058]
実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落したデータや不完全なデータの存在によって著しく困難である。
従来の手法では、データを捨てたり、データセグメントをゼロベクトルで置換することで、これらの不完全性を近似することが多い。
本稿では,雑音データから頑健なマルチモーダル関節表現を効果的に学習する新しいノイズローバストMERモデルを提案する。
論文 参考訳（メタデータ） (2023-09-21T10:49:02Z) - DeNoising-MOT: Towards Multiple Object Tracking with Severe Occlusions [52.63323657077447]
DNMOTは、複数のオブジェクト追跡のためのエンドツーエンドのトレーニング可能なDeNoising Transformerである。
具体的には、トレーニング中にノイズを伴って軌道を拡大し、エンコーダ・デコーダアーキテクチャのデノイング過程をモデルに学習させる。
我々はMOT17,MOT20,DanceTrackのデータセットについて広範な実験を行い,実験結果から,提案手法が従来の最先端手法よりも明確なマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-09-09T04:40:01Z) - VERITE: A Robust Benchmark for Multimodal Misinformation Detection
Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です
本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。
リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文 参考訳（メタデータ） (2023-04-27T12:28:29Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳（メタデータ） (2022-10-27T12:16:25Z) - Prompting for Multi-Modal Tracking [70.0522146292258]
マルチモーダルトラッキングのための新しいマルチモーダルプロンプトトラッカー(ProTrack)を提案する。
ProTrackはプロンプトパラダイムにより、マルチモーダル入力を単一モーダルに変換することができる。
我々のProTrackは、マルチモーダルデータに余分な訓練を加えることなく、入力を変更するだけで高性能なマルチモーダルトラッキングを実現することができる。
論文 参考訳（メタデータ） (2022-07-29T09:35:02Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - Challenge-Aware RGBT Tracking [32.88141817679821]
本稿では,モダリティに偏った課題と,モダリティに特有の課題に対処する,新たな課題認識ニューラルネットワークを提案する。
提案手法は,3つのベンチマークデータセット上での最先端手法に対して高い性能を保ちながら,リアルタイムに動作可能であることを示す。
論文 参考訳（メタデータ） (2020-07-26T15:11:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。