論文の概要: Event-Adaptive State Transition and Gated Fusion for RGB-Event Object Tracking
- arxiv url: http://arxiv.org/abs/2604.13426v1
- Date: Wed, 15 Apr 2026 02:51:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.361988
- Title: Event-Adaptive State Transition and Gated Fusion for RGB-Event Object Tracking
- Title（参考訳）: RGBイベントオブジェクト追跡のためのイベント適応状態遷移とGated Fusion
- Authors: Jinlin You, Muyu Li, Xudong Zhao,
- Abstract要約: MambaTrackは動的状態空間モデル(DSSM)上に構築されたマルチモーダルで効率的な追跡フレームワークである
学習可能なスカラーは状態の進化速度を制御し、スパースと密集したイベントフローの区別されたモデリングを可能にする。
MambaTrackはFE108とFELTデータセット上で最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 9.837735583393266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Vision Mamba-based RGB-Event(RGBE) tracking methods suffer from using static state transition matrices, which fail to adapt to variations in event sparsity. This rigidity leads to imbalanced modeling-underfitting sparse event streams and overfitting dense ones-thus degrading cross-modal fusion robustness. To address these limitations, we propose MambaTrack, a multimodal and efficient tracking framework built upon a Dynamic State Space Model(DSSM). Our contributions are twofold. First, we introduce an event-adaptive state transition mechanism that dynamically modulates the state transition matrix based on event stream density. A learnable scalar governs the state evolution rate, enabling differentiated modeling of sparse and dense event flows. Second, we develop a Gated Projection Fusion(GPF) module for robust cross-modal integration. This module projects RGB features into the event feature space and generates adaptive gates from event density and RGB confidence scores. These gates precisely control the fusion intensity, suppressing noise while preserving complementary information. Experiments show that MambaTrack achieves state-of-the-art performance on the FE108 and FELT datasets. Its lightweight design suggests potential for real-time embedded deployment.
- Abstract（参考訳）: 既存のVision MambaベースのRGB-Event(RGBE)トラッキング手法は、静的な状態遷移行列を使用しており、イベントのばらつきに適応できない。
この剛性は、不均衡なモデリング・アンダーフィットのスパースイベントストリームと、密集したイベントストリームに過度に適合する。
これらの制約に対処するために,動的状態空間モデル(DSSM)上に構築されたマルチモーダルかつ効率的な追跡フレームワークであるMambaTrackを提案する。
私たちの貢献は2倍です。
まず、イベントストリーム密度に基づいて状態遷移行列を動的に変調するイベント適応状態遷移機構を導入する。
学習可能なスカラーは状態の進化速度を制御し、スパースと密集したイベントフローの区別されたモデリングを可能にする。
第2に、堅牢なクロスモーダル統合のためのGated Projection Fusion(GPF)モジュールを開発する。
このモジュールは、イベント機能空間にRGB機能を投影し、イベント密度とRGB信頼スコアから適応ゲートを生成する。
これらのゲートは融合強度を正確に制御し、相補的な情報を保持しながらノイズを抑制する。
実験の結果、MambaTrackはFE108データセットとFELTデータセット上で最先端のパフォーマンスを達成した。
その軽量な設計は、リアルタイムの組み込みデプロイメントの可能性を示している。
関連論文リスト
- Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking [8.019596736149834]
空間直交微細化(SOR)に基づくロバストなRGBイベント追跡のためのフレームワークであるSOR-Trackを提案する。
大規模なFE108ベンチマークの実験は、SOR-Trackが既存のフュージョンベースのトラッカーを一貫して上回っていることを示している。
その単純さにもかかわらず、提案手法はマルチモーダルな特徴アライメントとテクスチャの整合に対する原理的かつ物理的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-03-29T23:54:31Z) - Learning Progressive Adaptation for Multi-Modal Tracking [67.50696675353451]
マルチモーダルトラッカーは通常、パラメータ効率の良い微調整モジュールを備えた事前訓練されたRGBモデルを採用することで構築される。
この問題に対処するため,マルチモーダルトラッキング(PATrack)のためのプログレッシブ・アダプタ(Progressive Adaptation)を提案する。
この革新的なアプローチは、モダリティに依存し、モダリティに絡み合った、タスクレベルのアダプタを取り入れ、マルチモーダルデータにRGB事前学習ネットワークを適用する際のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-03-22T07:25:54Z) - Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking [51.31378940976401]
既存のRGB-Eventトラッキングアプローチでは、イベントカメラのユニークな利点を完全に活用できない。
本稿では,周波数領域の早期融合を実現する新しい追跡フレームワークを提案する。
FE108, FELT, COESOTなど, 広く使用されている3つのRGB-Event追跡ベンチマークデータセットの実験により, 提案手法の性能と効率を実証した。
論文 参考訳（メタデータ） (2026-01-03T01:10:17Z) - CADTrack: Learning Contextual Aggregation with Deformable Alignment for Robust RGBT Tracking [68.71826342377004]
RGB-Thermal (RGBT) トラッキングは、堅牢な全天候物体追跡のために可視および熱赤外モードを活用することを目的としている。
既存のRGBTトラッカーはモダリティの相違を解決するのに苦労している。
RGBT追跡のためのCADTrackと呼ばれる,変形可能なアライメントによるコンテキストアグリゲーション(Contextual Aggregation)を提案する。
論文 参考訳（メタデータ） (2025-11-22T08:10:02Z) - Mamba-FETrack V2: Revisiting State Space Model for Frame-Event based Visual Object Tracking [9.353589376846902]
線形複雑ビジョン・マンバネットワークに基づく効率的なRGB-Eventオブジェクト追跡フレームワークを提案する。
ソースコードと事前トレーニングされたモデルはhttps://github.com/Event-AHU/Mamba_FETrack.comで公開される。
論文 参考訳（メタデータ） (2025-06-30T12:24:01Z) - Learning Flow-Guided Registration for RGB-Event Semantic Segmentation [22.996619370156584]
イベントカメラは、RGBセンサーを補完するマイクロ秒レベルのモーションキューをキャプチャする。
RGB-Eventセグメンテーションを融合から登録に再キャストする。
非対称なモーダル間の対応を適応的にマッチングする新しいフロー誘導双方向フレームワークであるBRENetを提案する。
論文 参考訳（メタデータ） (2025-05-02T19:19:58Z) - Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。
一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。
本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-01T13:40:09Z) - VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition [54.27379947727035]
本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。
また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。
ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
論文 参考訳（メタデータ） (2024-12-28T07:38:23Z) - TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。
本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。
提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
論文 参考訳（メタデータ） (2024-05-08T12:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。