論文の概要: EventAug: Multifaceted Spatio-Temporal Data Augmentation Methods for Event-based Learning

• arxiv url: http://arxiv.org/abs/2409.11813v1
• Date: Wed, 18 Sep 2024 09:01:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 18:34:01.702112
• Title: EventAug: Multifaceted Spatio-Temporal Data Augmentation Methods for Event-based Learning
• Title（参考訳）: EventAug: イベントベースの学習のための多面的時空間データ拡張手法
• Authors: Yukun Tian, Hao Chen, Yongjian Deng, Feihong Shen, Kepan Liu, Wei You, Ziyang Zhang,
• Abstract要約: イベントカメラは、低レイテンシと高ダイナミックレンジのため、幅広い領域で大きな成功を収めている。 しかし、コミュニティはデータ不足や多様性の制限といった課題に直面しており、多くの場合、過度に適合し、機能学習が不十分になる。 本研究は,空間的時間的多様性を高めるために,EventAugという体系的な拡張スキームを導入することを目的とする。
• 参考スコア（独自算出の注目度）: 15.727918674166714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The event camera has demonstrated significant success across a wide range of areas due to its low time latency and high dynamic range. However, the community faces challenges such as data deficiency and limited diversity, often resulting in over-fitting and inadequate feature learning. Notably, the exploration of data augmentation techniques in the event community remains scarce. This work aims to address this gap by introducing a systematic augmentation scheme named EventAug to enrich spatial-temporal diversity. In particular, we first propose Multi-scale Temporal Integration (MSTI) to diversify the motion speed of objects, then introduce Spatial-salient Event Mask (SSEM) and Temporal-salient Event Mask (TSEM) to enrich object variants. Our EventAug can facilitate models learning with richer motion patterns, object variants and local spatio-temporal relations, thus improving model robustness to varied moving speeds, occlusions, and action disruptions. Experiment results show that our augmentation method consistently yields significant improvements across different tasks and backbones (e.g., a 4.87% accuracy gain on DVS128 Gesture). Our code will be publicly available for this community.
• Abstract（参考訳）: イベントカメラは、低レイテンシと高ダイナミックレンジのため、幅広い領域で大きな成功を収めている。 しかし、コミュニティはデータ不足や多様性の制限といった課題に直面しており、多くの場合、過度に適合し、機能学習が不十分になる。 特に、イベントコミュニティにおけるデータ拡張技術の調査は、依然として少ない。 本研究は,空間的時間的多様性を高めるためにEventAugという体系的な拡張スキームを導入することで,このギャップに対処することを目的としている。 特に,物体の運動速度を多様化するマルチスケールテンポラル統合(MSTI)を提案し,その上で,オブジェクトの変動を豊かにするために,Spatial-Salient Event Mask(SSEM)とTemporal-Salient Event Mask(TSEM)を導入する。 われわれのEventAugは、よりリッチな動きパターン、オブジェクトの変種、局所的な時空間関係で学習するモデルを促進することができる。 その結果,DVS128 Gestureの精度は4.87%向上した。 私たちのコードは、このコミュニティで公開されます。

関連論文リスト

• Path-adaptive Spatio-Temporal State Space Model for Event-based Recognition with Arbitrary Duration [9.547947845734992]
  イベントカメラはバイオインスパイアされたセンサーで、強度の変化を非同期に捉え、イベントストリームを出力する。 本稿では, PAST-Act と呼ばれる新しいフレームワークを提案する。 私たちはまた、コミュニティの利益のために任意の期間で、ArDVS100という名前の分レベルのイベントベースの認識データセットを構築しました。
  論文  参考訳（メタデータ） (2024-09-25T14:08:37Z)
• EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision [9.447299017563841]
  ダイナミックビジョンセンサー(DVS)は、高時間分解能と低消費電力でイベントデータをキャプチャする。 イベントデータ拡張は、イベントデータセットのスケールと多様性の制限を克服するための重要な方法である。
  論文  参考訳（メタデータ） (2024-05-29T08:39:31Z)
• MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
  事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。 点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。 本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
  論文  参考訳（メタデータ） (2024-04-18T11:09:25Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Improved Regularization of Event-based Learning by Reversing and Drifting [4.736525128377909]
  イベントカメラは、高時間分解能、高ダイナミックレンジ、低消費電力、動きのぼやけがないという利点のために、挑戦的なシーンで大きな可能性を秘めている。 本稿では,EventReverseとEventDriftの2つの新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-07-24T04:23:56Z)
• Progressive Attention on Multi-Level Dense Difference Maps for Generic Event Boundary Detection [35.16241630620967]
  ジェネリックイベント境界検出はビデオ理解において重要な課題である。 本稿では、イベント境界の多様性と複雑な意味論に取り組むために、効果的でエンドツーエンドの学習可能なフレームワーク(DDM-Net)を提案する。
  論文  参考訳（メタデータ） (2021-12-09T09:00:05Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
  時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
  論文  参考訳（メタデータ） (2020-06-15T09:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。