論文の概要: Self-Supervised Event Representations: Towards Accurate, Real-Time Perception on SoC FPGAs

• arxiv url: http://arxiv.org/abs/2505.07556v1
• Date: Mon, 12 May 2025 13:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.406029
• Title: Self-Supervised Event Representations: Towards Accurate, Real-Time Perception on SoC FPGAs
• Title（参考訳）: 自己監視型イベント表現:SoCFPGAの高精度リアルタイム認識に向けて
• Authors: Kamil Jeziorek, Tomasz Kryjak,
• Abstract要約: イベントカメラは、従来のフレームベースのセンサーよりも大きな利点がある。 疎結合で非同期なイベントストリームを効果的に処理することは依然として難しい。 本稿では,新しい自己監視イベント表現(SSER)手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras offer significant advantages over traditional frame-based sensors. These include microsecond temporal resolution, robustness under varying lighting conditions and low power consumption. Nevertheless, the effective processing of their sparse, asynchronous event streams remains challenging. Existing approaches to this problem can be categorised into two distinct groups. The first group involves the direct processing of event data with neural models, such as Spiking Neural Networks or Graph Convolutional Neural Networks. However, this approach is often accompanied by a compromise in terms of qualitative performance. The second group involves the conversion of events into dense representations with handcrafted aggregation functions, which can boost accuracy at the cost of temporal fidelity. This paper introduces a novel Self-Supervised Event Representation (SSER) method leveraging Gated Recurrent Unit (GRU) networks to achieve precise per-pixel encoding of event timestamps and polarities without temporal discretisation. The recurrent layers are trained in a self-supervised manner to maximise the fidelity of event-time encoding. The inference is performed with event representations generated asynchronously, thus ensuring compatibility with high-throughput sensors. The experimental validation demonstrates that SSER outperforms aggregation-based baselines, achieving improvements of 2.4% mAP and 0.6% on the Gen1 and 1 Mpx object detection datasets. Furthermore, the paper presents the first hardware implementation of recurrent representation for event data on a System-on-Chip FPGA, achieving sub-microsecond latency and power consumption between 1-2 W, suitable for real-time, power-efficient applications. Code is available at https://github.com/vision-agh/RecRepEvent.
• Abstract（参考訳）: イベントカメラは、従来のフレームベースのセンサーよりも大きな利点がある。 これには、マイクロ秒の時間分解能、様々な照明条件下での堅牢性、低消費電力が含まれる。 それでも、疎結合で非同期なイベントストリームの効率的な処理は、依然として困難である。 この問題に対する既存のアプローチは、2つの異なるグループに分類できる。 最初のグループは、スパイキングニューラルネットワークやグラフ畳み込みニューラルネットワークといった、ニューラルネットワークによるイベントデータの直接処理を含む。 しかし、このアプローチには質的なパフォーマンスの面で妥協が伴うことが多い。 第2のグループは、イベントを手作りの集約関数で密度の高い表現に変換することを含み、時間的忠実さの犠牲で精度を高めることができる。 本稿では,GRU(Gated Recurrent Unit)ネットワークを利用して,時間的離散化を伴わないイベントタイムスタンプと極性の画素単位の正確な符号化を実現する。 リカレントレイヤは、イベント時エンコーディングの忠実度を最大化するために、自己管理的な方法でトレーニングされる。 イベント表現を非同期に生成して推論を行い、高出力センサとの互換性を確保する。 実験による検証では、SSERは集約ベースのベースラインよりも優れており、Gen1と1 Mpxオブジェクト検出データセットで2.4% mAPと0.6%の改善が達成されている。 さらに, System-on-Chip FPGA 上でのイベントデータのリカレント表現のハードウェア実装として,リアルタイム・電力効率の高いアプリケーションに適したサブマイクロ秒レイテンシと 1-2 W 間の消費電力を実現した。 コードはhttps://github.com/vision-agh/RecRepEventで入手できる。

関連論文リスト

• Event Signal Filtering via Probability Flux Estimation [58.31652473933809]
  イベントは、非同期センシングを通じてシーンダイナミクスをキャプチャするための新しいパラダイムを提供するが、その固有のランダム性は、しばしば劣化した信号品質につながる。 したがって、イベント信号フィルタリングは、この内部ランダム性を低減し、多様な取得条件をまたいだ一貫した出力を確保することで、忠実性を高めるために不可欠である。 本稿ではイベント密度フローフィルタ(EDFilter)と呼ばれる生成オンラインフィルタリングフレームワークを紹介する。 実験では、イベントフィルタリング、スーパーレゾリューション、イベントベースの直接追跡といったタスクでEDFilterのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-10T07:03:08Z)
• Event-Stream Super Resolution using Sigma-Delta Neural Network [0.10923877073891444]
  イベントカメラは、それらが収集するデータの低解像度で疎結合で非同期な性質のため、ユニークな課題を示す。 現在のイベント超解像アルゴリズムは、イベントカメラによって生成された異なるデータ構造に対して完全に最適化されていない。 バイナリスパイクをSigma Delta Neural Networks(SDNNs)と統合する手法を提案する
  論文  参考訳（メタデータ） (2024-08-13T15:25:18Z)
• MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
  事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。 点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。 本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
  論文  参考訳（メタデータ） (2024-04-18T11:09:25Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Event-LSTM: An Unsupervised and Asynchronous Learning-based Representation for Event-based Data [8.931153235278831]
  イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。 LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。 また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
  論文  参考訳（メタデータ） (2021-05-10T09:18:52Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。