論文の概要: Event2Vec: Processing neuromorphic events directly by representations in vector space
- arxiv url: http://arxiv.org/abs/2504.15371v1
- Date: Mon, 21 Apr 2025 18:21:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-01 01:50:12.37375
- Title: Event2Vec: Processing neuromorphic events directly by representations in vector space
- Title（参考訳）: Event2Vec: ベクトル空間における表現によるニューロモルフィックイベントの処理
- Authors: Wei Fang, Priyadarshini Panda,
- Abstract要約: ニューロモルフィックイベントカメラは、従来のカメラと比較して時間分解能、電力効率、ダイナミックレンジに利点がある。
しかし、イベントカメラは、メインストリームのコンピュータビジョンやディープラーニング手法と互換性のない、非同期、スパース、不規則なイベントを出力する。
本稿では,従来のグラフ/イメージ/ボクセルベース表現よりも優れたパラメータ効率,精度,速度を示すベクトル(event2vec)表現の最初のイベントを提案する。
- 参考スコア（独自算出の注目度）: 12.165767356450289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The neuromorphic event cameras have overwhelming advantages in temporal resolution, power efficiency, and dynamic range compared to traditional cameras. However, the event cameras output asynchronous, sparse, and irregular events, which are not compatible with mainstream computer vision and deep learning methods. Various methods have been proposed to solve this issue but at the cost of long preprocessing procedures, losing temporal resolutions, or being incompatible with massively parallel computation. Inspired by the great success of the word to vector, we summarize the similarities between words and events, then propose the first event to vector (event2vec) representation. We validate event2vec on classifying the ASL-DVS dataset, showing impressive parameter efficiency, accuracy, and speed than previous graph/image/voxel-based representations. Beyond task performance, the most attractive advantage of event2vec is that it aligns events to the domain of natural language processing, showing the promising prospect of integrating events into large language and multimodal models. Our codes, models, and training logs are available at https://github.com/fangwei123456/event2vec.
- Abstract（参考訳）: ニューロモルフィックイベントカメラは、従来のカメラに比べて時間分解能、電力効率、ダイナミックレンジにおいて圧倒的に有利である。
しかし、イベントカメラは、メインストリームのコンピュータビジョンやディープラーニング手法と互換性のない、非同期、スパース、不規則なイベントを出力する。
この問題を解決するために様々な方法が提案されているが、長い前処理のコスト、時間分解能の喪失、あるいは超並列計算との互換性が低い。
単語からベクトルへの大成功に触発されて、単語と事象の類似性を要約し、ベクトル(event2vec)表現への最初の事象を提案する。
本研究では,ASL-DVSデータセットの分類に関するEvent2vecを検証する。
タスクパフォーマンス以外にも、Event2vecの最も魅力的な利点は、イベントを自然言語処理の領域に整合させることであり、大きな言語やマルチモーダルモデルにイベントを統合する可能性を示している。
私たちのコード、モデル、トレーニングログはhttps://github.com/fangwei123456/event2vec.comで公開されています。
関連論文リスト
- EventGPT: Event Stream Understanding with Multimodal Large Language Models [59.65010502000344]
イベントカメラは、視覚情報を非同期なピクセル変更ストリームとして記録し、不満足な照明や高ダイナミックな条件下でのシーン認識に優れる。
既存のマルチモーダル大言語モデル(MLLM)は、自然のRGBイメージに集中しており、イベントデータがより適合するシナリオでは失敗する。
イベントストリーム理解のための最初のMLLMであるEventGPTを紹介する。
論文 参考訳（メタデータ） (2024-12-01T14:38:40Z) - Text-to-Events: Synthetic Event Camera Streams from Conditional Text Input [8.365349007799296]
イベントカメラは、低レイテンシとスパース出力応答を持つ視覚センサーを必要とするタスクに有利である。
本稿では,テキスト・ツー・Xモデルを用いてラベル付きイベント・データセットを新たに作成する方法を報告する。
本モデルでは,異なる文文によって引き起こされる人間のジェスチャーのリアルなイベントシーケンスを生成できることを実証する。
論文 参考訳（メタデータ） (2024-06-05T16:34:12Z) - Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models [2.551844666707809]
イベントベースのセンサーはリアルタイム処理に適している。
現在の方法では、イベントをフレームに分解するか、イベントデータをイベント単位で直接処理する場合にスケールアップできない。
論文 参考訳（メタデータ） (2024-04-29T08:50:27Z) - GET: Group Event Transformer for Event-Based Vision [82.312736707534]
イベントカメラは、注目を集めている新しいニューロモルフィックセンサーの一種である。
我々は、グループイベントトランスフォーマー(GET)と呼ばれる、イベントベースのビジョンのための新しいグループベースのビジョントランスフォーマーバックボーンを提案する。
GETは特徴抽出プロセスを通して空間的インフォメーションから時間的極性情報を分離する。
論文 参考訳（メタデータ） (2023-10-04T08:02:33Z) - Graph-based Asynchronous Event Processing for Rapid Object Recognition [59.112755601918074]
イベントカメラは、各イベントがピクセル位置、トリガ時間、明るさの極性が変化するような非同期イベントストリームをキャプチャする。
イベントカメラのための新しいグラフベースのフレームワーク、SlideGCNを紹介した。
当社のアプローチでは、データをイベント単位で効率的に処理し、内部でグラフの構造を維持しながら、イベントデータの低レイテンシ特性を解放することが可能です。
論文 参考訳（メタデータ） (2023-08-28T08:59:57Z) - EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding [7.797154022794006]
EventBindは、イベントベースの認識のためのビジョン言語モデル(VLM)の可能性を解き放つ新しいフレームワークである。
まず、イベントからの時間情報を微妙にモデル化する新しいイベントエンコーダを紹介する。
次に、コンテントプロンプトを生成し、ハイブリッドテキストプロンプトを利用してEventBindの一般化能力を向上するテキストエンコーダを設計する。
論文 参考訳（メタデータ） (2023-08-06T15:05:42Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Event Transformer+. A multi-purpose solution for efficient event data
processing [13.648678472312374]
イベントカメラは、高時間分解能と高ダイナミックレンジでスパース照明変化を記録する。
現在の手法は特定のイベントデータ特性を無視することが多く、汎用的だが計算コストのかかるアルゴリズムの開発に繋がる。
本稿では,改良されたパッチベースのイベント表現を用いて,セマンティックな作業EvTを改善するEvent Transformer+を提案する。
論文 参考訳（メタデータ） (2022-11-22T12:28:37Z) - Avoiding Post-Processing with Event-Based Detection in Biomedical
Signals [69.34035527763916]
学習対象としてイベントを直接扱うイベントベースのモデリングフレームワークを提案する。
イベントベースのモデリング(後処理なし)は、広範囲な後処理を伴うエポックベースのモデリングと同等以上のパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-09-22T13:44:13Z) - Unifying Event Detection and Captioning as Sequence Generation via
Pre-Training [53.613265415703815]
本稿では,イベント検出とキャプションのタスク間関連性を高めるための,事前学習と微調整の統合フレームワークを提案する。
我々のモデルは最先端の手法よりも優れており、大規模ビデオテキストデータによる事前学習ではさらに向上できる。
論文 参考訳（メタデータ） (2022-07-18T14:18:13Z) - Event Transformer [43.193463048148374]
イベントカメラの消費電力が低く、マイクロ秒の明るさを捉える能力は、様々なコンピュータビジョンタスクにとって魅力的である。
既存のイベント表現方法は通常、イベントをフレーム、ボクセルグリッド、ディープニューラルネットワーク(DNN)のスパイクに変換する。
この研究はトークンベースの新しいイベント表現を導入し、各イベントはイベントトークンと呼ばれる基本的な処理ユニットと見なされる。
論文 参考訳（メタデータ） (2022-04-11T15:05:06Z) - Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem
Formulation [53.850686395708905]
イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。
本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。
我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
論文 参考訳（メタデータ） (2020-09-23T10:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。