論文の概要: Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking

• arxiv url: http://arxiv.org/abs/2409.17560v1
• Date: Thu, 26 Sep 2024 06:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 22:56:36.415749
• Title: Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking
• Title（参考訳）: RGB-E追跡における動的サブフレーム分割と時空間運動のスパースアテンション
• Authors: Pengcheng Shao, Tianyang Xu, Xuefeng Zhu, Xiaojun Wu, Josef Kittler,
• Abstract要約: イベントベースのバイオニックカメラは、高時間分解能と高ダイナミックレンジで動的シーンをキャプチャする。 イベントストリームをよりきめ細かいイベントクラスタに分割する動的イベントサブフレーム分割戦略を提案する。 そこで我々は,事象特徴の時間的・空間的相互作用を高めるために,事象に基づくスパースアテンション機構を設計する。
• 参考スコア（独自算出の注目度）: 32.86991031493605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event-based bionic camera asynchronously captures dynamic scenes with high temporal resolution and high dynamic range, offering potential for the integration of events and RGB under conditions of illumination degradation and fast motion. Existing RGB-E tracking methods model event characteristics utilising attention mechanism of Transformer before integrating both modalities. Nevertheless, these methods involve aggregating the event stream into a single event frame, lacking the utilisation of the temporal information inherent in the event stream.Moreover, the traditional attention mechanism is well-suited for dense semantic features, while the attention mechanism for sparse event features require revolution. In this paper, we propose a dynamic event subframe splitting strategy to split the event stream into more fine-grained event clusters, aiming to capture spatio-temporal features that contain motion cues. Based on this, we design an event-based sparse attention mechanism to enhance the interaction of event features in temporal and spatial dimensions. The experimental results indicate that our method outperforms existing state-of-the-art methods on the FE240 and COESOT datasets, providing an effective processing manner for the event data.
• Abstract（参考訳）: イベントベースのバイオニックカメラは、高時間分解能と高ダイナミックレンジで動的シーンを非同期にキャプチャし、照明劣化と高速動作の条件下でのイベントとRGBの統合の可能性を提供する。 既存のRGB-E追跡手法は、両方のモードを統合する前に、Transformerのアテンションメカニズムを利用したイベント特性をモデル化する。 これらの手法では,イベントストリームを単一のイベントフレームに集約し,イベントストリーム固有の時間情報の活用を欠いている。 本稿では,イベントストリームをよりきめ細かなイベントクラスタに分割する動的イベントサブフレーム分割方式を提案する。 そこで我々は,事象特徴の時間的・空間的相互作用を高めるために,事象に基づくスパースアテンション機構を設計する。 実験結果から,本手法はFE240およびCOESOTデータセットにおける既存の最先端手法よりも優れており,イベントデータに対する効率的な処理方法が得られた。

関連論文リスト

• Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
  現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。 一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。 本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-01T13:40:09Z)
• EventCrab: Harnessing Frame and Point Synergy for Event-based Action Recognition and Beyond [61.10181853363728]
  イベントベースの行動認識(EAR)は、従来の行動認識と比較して、時間的・プライバシー的保護の利点がある。 EventCrabは、密集イベントフレームのための"より軽い"フレーム特化ネットワークと、スパースイベントポイントのための"より重い"ポイント特化ネットワークとを包括的に統合するフレームワークである。 4つのデータセットの実験は、提案したEventCrabの大幅なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-27T13:28:57Z)
• EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision [9.447299017563841]
  ダイナミックビジョンセンサー(DVS)は、高時間分解能と低消費電力でイベントデータをキャプチャする。 イベントデータ拡張は、イベントデータセットのスケールと多様性の制限を克服するための重要な方法である。
  論文  参考訳（メタデータ） (2024-05-29T08:39:31Z)
• Representation Learning on Event Stream via an Elastic Net-incorporated Tensor Network [1.9515859963221267]
  本稿では,イベントストリーム中のすべてのイベントのグローバルな相関を同時に取得できる新しい表現法を提案する。 本手法は, 最先端手法と比較して, フィルタノイズなどの応用において有効な結果が得られる。
  論文  参考訳（メタデータ） (2024-01-16T02:51:47Z)
• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• A Differentiable Recurrent Surface for Asynchronous Event-Based Data [19.605628378366667]
  本研究では,Long Short-Term Memory (LSTM) セルのグリッドであるMatrix-LSTMを提案する。 既存の再構成手法と比較して,学習した事象表面は柔軟性と光フロー推定に優れていた。 N-Carsデータセット上でのイベントベースのオブジェクト分類の最先端性を改善する。
  論文  参考訳（メタデータ） (2020-01-10T14:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。