論文の概要: Event-LSTM: An Unsupervised and Asynchronous Learning-based
Representation for Event-based Data
- arxiv url: http://arxiv.org/abs/2105.04216v1
- Date: Mon, 10 May 2021 09:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:51:38.484523
- Title: Event-LSTM: An Unsupervised and Asynchronous Learning-based
Representation for Event-based Data
- Title(参考訳): event-lstm: 教師なしかつ非同期なイベントベースのデータ表現
- Authors: Lakshmi Annamalai, Vignesh Ramanathan, Chetan Singh Thakur
- Abstract要約: イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。
LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。
また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
- 参考スコア(独自算出の注目度): 8.931153235278831
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Event cameras are activity-driven bio-inspired vision sensors, thereby
resulting in advantages such as sparsity,high temporal resolution, low latency,
and power consumption. Given the different sensing modality of event camera and
high quality of conventional vision paradigm, event processing is predominantly
solved by transforming the sparse and asynchronous events into 2D grid and
subsequently applying standard vision pipelines. Despite the promising results
displayed by supervised learning approaches in 2D grid generation, these
approaches treat the task in supervised manner. Labeled task specific ground
truth event data is challenging to acquire. To overcome this limitation, we
propose Event-LSTM, an unsupervised Auto-Encoder architecture made up of LSTM
layers as a promising alternative to learn 2D grid representation from event
sequence. Compared to competing supervised approaches, ours is a task-agnostic
approach ideally suited for the event domain, where task specific labeled data
is scarce. We also tailor the proposed solution to exploit asynchronous nature
of event stream, which gives it desirable charateristics such as speed
invariant and energy-efficient 2D grid generation. Besides, we also push
state-of-the-art event de-noising forward by introducing memory into the
de-noising process. Evaluations on activity recognition and gesture recognition
demonstrate that our approach yields improvement over state-of-the-art
approaches, while providing the flexibilty to learn from unlabelled data.
- Abstract(参考訳): イベントカメラは、アクティビティ駆動のバイオインスパイアされた視覚センサであり、その結果、空間性、高時間分解能、低レイテンシ、消費電力などの利点をもたらす。
イベントカメラのセンシングモードの違いと従来のビジョンパラダイムの高品質を考えると、イベント処理は主にスパースと非同期のイベントを2dグリッドに変換し、それから標準的なビジョンパイプラインを適用することで解決される。
2次元グリッド生成における教師付き学習手法による有望な結果にもかかわらず,これらの手法は教師付き方法でタスクを処理している。
ラベル付きタスク特定グランド真理イベントデータを取得するのは困難である。
この制限を克服するために、イベントシーケンスから2Dグリッド表現を学ぶための有望な代替手段として、LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。
競合する教師付きアプローチと比較すると、タスク固有のラベル付きデータが不足しているイベントドメインに適したタスクに依存しないアプローチである。
また,イベントストリームの非同期性を活用するために提案手法を調整し,速度不変性やエネルギー効率のよい2dグリッド生成といった,望ましい特性を提供する。
さらに、私たちは、Denoisingプロセスにメモリを導入することで、最先端のイベントを先送りします。
動作認識とジェスチャ認識の評価は,最先端のアプローチよりも改善をもたらすと同時に,ラベルなしのデータから学習する柔軟性も提供することを実証する。
関連論文リスト
- Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking [32.86991031493605]
イベントベースのバイオニックカメラは、高時間分解能と高ダイナミックレンジで動的シーンをキャプチャする。
イベントストリームをよりきめ細かいイベントクラスタに分割する動的イベントサブフレーム分割戦略を提案する。
そこで我々は,事象特徴の時間的・空間的相互作用を高めるために,事象に基づくスパースアテンション機構を設計する。
論文 参考訳(メタデータ) (2024-09-26T06:12:08Z) - EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision [9.447299017563841]
ダイナミックビジョンセンサー(DVS)は、高時間分解能と低消費電力でイベントデータをキャプチャする。
イベントデータ拡張は、イベントデータセットのスケールと多様性の制限を克服するための重要な方法である。
論文 参考訳(メタデータ) (2024-05-29T08:39:31Z) - MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。
点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。
本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
論文 参考訳(メタデータ) (2024-04-18T11:09:25Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams [19.957857885844838]
イベントカメラは、シーンをスパースで非同期なイベントストリームとして記録するニューロモルフィックな視覚センサである。
本稿では,イベントストリーム上での効率的な表現学習のためのイベントVoxel Set Transformer (EVSTr) という注目度モデルを提案する。
実験によると、EVSTrは低モデルの複雑さを維持しながら最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-03-07T12:48:02Z) - Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。
我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
論文 参考訳(メタデータ) (2021-09-13T20:50:37Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳(メタデータ) (2020-03-20T08:39:49Z) - A Differentiable Recurrent Surface for Asynchronous Event-Based Data [19.605628378366667]
本研究では,Long Short-Term Memory (LSTM) セルのグリッドであるMatrix-LSTMを提案する。
既存の再構成手法と比較して,学習した事象表面は柔軟性と光フロー推定に優れていた。
N-Carsデータセット上でのイベントベースのオブジェクト分類の最先端性を改善する。
論文 参考訳(メタデータ) (2020-01-10T14:09:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。