論文の概要: Event-LSTM: An Unsupervised and Asynchronous Learning-based
Representation for Event-based Data
- arxiv url: http://arxiv.org/abs/2105.04216v1
- Date: Mon, 10 May 2021 09:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:51:38.484523
- Title: Event-LSTM: An Unsupervised and Asynchronous Learning-based
Representation for Event-based Data
- Title(参考訳): event-lstm: 教師なしかつ非同期なイベントベースのデータ表現
- Authors: Lakshmi Annamalai, Vignesh Ramanathan, Chetan Singh Thakur
- Abstract要約: イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。
LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。
また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
- 参考スコア(独自算出の注目度): 8.931153235278831
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Event cameras are activity-driven bio-inspired vision sensors, thereby
resulting in advantages such as sparsity,high temporal resolution, low latency,
and power consumption. Given the different sensing modality of event camera and
high quality of conventional vision paradigm, event processing is predominantly
solved by transforming the sparse and asynchronous events into 2D grid and
subsequently applying standard vision pipelines. Despite the promising results
displayed by supervised learning approaches in 2D grid generation, these
approaches treat the task in supervised manner. Labeled task specific ground
truth event data is challenging to acquire. To overcome this limitation, we
propose Event-LSTM, an unsupervised Auto-Encoder architecture made up of LSTM
layers as a promising alternative to learn 2D grid representation from event
sequence. Compared to competing supervised approaches, ours is a task-agnostic
approach ideally suited for the event domain, where task specific labeled data
is scarce. We also tailor the proposed solution to exploit asynchronous nature
of event stream, which gives it desirable charateristics such as speed
invariant and energy-efficient 2D grid generation. Besides, we also push
state-of-the-art event de-noising forward by introducing memory into the
de-noising process. Evaluations on activity recognition and gesture recognition
demonstrate that our approach yields improvement over state-of-the-art
approaches, while providing the flexibilty to learn from unlabelled data.
- Abstract(参考訳): イベントカメラは、アクティビティ駆動のバイオインスパイアされた視覚センサであり、その結果、空間性、高時間分解能、低レイテンシ、消費電力などの利点をもたらす。
イベントカメラのセンシングモードの違いと従来のビジョンパラダイムの高品質を考えると、イベント処理は主にスパースと非同期のイベントを2dグリッドに変換し、それから標準的なビジョンパイプラインを適用することで解決される。
2次元グリッド生成における教師付き学習手法による有望な結果にもかかわらず,これらの手法は教師付き方法でタスクを処理している。
ラベル付きタスク特定グランド真理イベントデータを取得するのは困難である。
この制限を克服するために、イベントシーケンスから2Dグリッド表現を学ぶための有望な代替手段として、LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。
競合する教師付きアプローチと比較すると、タスク固有のラベル付きデータが不足しているイベントドメインに適したタスクに依存しないアプローチである。
また,イベントストリームの非同期性を活用するために提案手法を調整し,速度不変性やエネルギー効率のよい2dグリッド生成といった,望ましい特性を提供する。
さらに、私たちは、Denoisingプロセスにメモリを導入することで、最先端のイベントを先送りします。
動作認識とジェスチャ認識の評価は,最先端のアプローチよりも改善をもたらすと同時に,ラベルなしのデータから学習する柔軟性も提供することを実証する。
関連論文リスト
- SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - Event Voxel Set Transformer for Spatiotemporal Representation Learning
on Event Streams [23.872611710730865]
イベントカメラは、視覚情報をスパースおよび非同期イベントストリームとして表現するニューロモルフィック視覚センサである。
本研究では,イベントストリーム上での表現学習のためのイベントVoxel Set Transformer (EVSTr) という新しい注意認識モデルを開発した。
オブジェクト分類と行動認識という2つのイベントベース認識タスクにおいて,提案したモデルを評価する。
論文 参考訳(メタデータ) (2023-03-07T12:48:02Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳(メタデータ) (2022-03-02T11:28:47Z) - Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。
我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
論文 参考訳(メタデータ) (2021-09-13T20:50:37Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z) - Dual Transfer Learning for Event-based End-task Prediction via Pluggable
Event to Image Translation [33.28163268182018]
イベントカメラは、ピクセルごとの強度変化を認識し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを出力する。
イベントは、エンコーダ・デコーダのようなネットワークに基づいて、エンドタスク学習、例えばセマンティックセグメンテーションにのみ使用できることが示されている。
本稿では,DTL(Dual Transfer Learning)と呼ばれるシンプルで柔軟な2ストリームフレームワークを提案し,エンドタスクの性能を効果的に向上させる。
論文 参考訳(メタデータ) (2021-09-04T06:49:09Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳(メタデータ) (2020-03-20T08:39:49Z) - A Differentiable Recurrent Surface for Asynchronous Event-Based Data [19.605628378366667]
本研究では,Long Short-Term Memory (LSTM) セルのグリッドであるMatrix-LSTMを提案する。
既存の再構成手法と比較して,学習した事象表面は柔軟性と光フロー推定に優れていた。
N-Carsデータセット上でのイベントベースのオブジェクト分類の最先端性を改善する。
論文 参考訳(メタデータ) (2020-01-10T14:09:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。