論文の概要: Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution
- arxiv url: http://arxiv.org/abs/2502.03285v1
- Date: Wed, 05 Feb 2025 15:39:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:26:35.998549
- Title: Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution
- Title（参考訳）: 深層学習に基づくイベントデータ符号化:時空間と極性の共同解法
- Authors: Abdelrahman Seleem, André F. R. Guarda, Nuno M. M. Rodrigues, Fernando Pereira,
- Abstract要約: イベントカメラは、時間的・極性的な情報によって構成された大量のピクセルレベルのイベントを生成する。
本稿では,単一ポイントのクラウド表現を取り入れた新しい損失型深層学習型統合イベントデータ符号化(DL-JEC)ソリューションを提案する。
対象のコンピュータビジョンタスクのパフォーマンスを損なうことなく、符号化の速度を低下させながら、損失のあるイベントデータを使用できることが示されている。
- 参考スコア（独自算出の注目度）: 45.8313373627054
- License:
- Abstract: Neuromorphic vision sensors, commonly referred to as event cameras, have recently gained relevance for applications requiring high-speed, high dynamic range and low-latency data acquisition. Unlike traditional frame-based cameras that capture 2D images, event cameras generate a massive number of pixel-level events, composed by spatiotemporal and polarity information, with very high temporal resolution, thus demanding highly efficient coding solutions. Existing solutions focus on lossless coding of event data, assuming that no distortion is acceptable for the target use cases, mostly including computer vision tasks. One promising coding approach exploits the similarity between event data and point clouds, thus allowing to use current point cloud coding solutions to code event data, typically adopting a two-point clouds representation, one for each event polarity. This paper proposes a novel lossy Deep Learning-based Joint Event data Coding (DL-JEC) solution adopting a single-point cloud representation, thus enabling to exploit the correlation between the spatiotemporal and polarity event information. DL-JEC can achieve significant compression performance gains when compared with relevant conventional and DL-based state-of-the-art event data coding solutions. Moreover, it is shown that it is possible to use lossy event data coding with its reduced rate regarding lossless coding without compromising the target computer vision task performance, notably for event classification. The use of novel adaptive voxel binarization strategies, adapted to the target task, further enables DL-JEC to reach a superior performance.
- Abstract（参考訳）: イベントカメラと呼ばれるニューロモルフィック視覚センサは、最近、高速、高ダイナミックレンジ、低レイテンシデータ取得を必要とするアプリケーションに関連性がある。
2D画像を撮影する従来のフレームベースのカメラとは異なり、イベントカメラは時空間と極性の情報からなる大量のピクセルレベルのイベントを生成し、時間分解能が非常に高く、高効率な符号化ソリューションを必要としている。
既存のソリューションでは、主にコンピュータビジョンタスクを含む対象のユースケースに対して歪みが許容されないことを前提として、イベントデータのロスレスコーディングに重点を置いている。
ひとつの有望なコーディングアプローチは、イベントデータとポイントクラウドの類似性を利用して、現在のポイントクラウドコーディングソリューションをコードイベントデータに使用可能にする。
本稿では,一点クラウド表現を用いた新たな損失学習型統合イベントデータ符号化(DL-JEC)ソリューションを提案する。
DL-JECは、従来のDLベースのイベントデータ符号化ソリューションと比較すると、圧縮性能が大幅に向上する可能性がある。
さらに、特にイベント分類において、対象のコンピュータビジョンタスク性能を損なうことなく、ロスレスコーディングに関するロスリーイベントデータ符号化を削減できることを示す。
新たな適応的ボクセルバイナライゼーション戦略を用いることにより、DL-JECはより優れた性能が得られる。
関連論文リスト
- Double Deep Learning-based Event Data Coding and Classification [45.8313373627054]
イベントカメラは、"イベント"と呼ばれる、画素ごとの非同期の明るさ変化をキャプチャする機能を持つ
本稿では、イベントのポイントクラウドベースの表現を用いて、イベントデータ符号化と分類の両方のための新しいダブルディープラーニングベースのアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-07-22T10:45:55Z) - Relating Events and Frames Based on Self-Supervised Learning and
Uncorrelated Conditioning for Unsupervised Domain Adaptation [23.871860648919593]
イベントベースのカメラは、コンピュータビジョンタスクを実行するための正確かつ高時間分解能の測定を提供する。
それらの利点にもかかわらず、イベントベースのビジョンにディープラーニングを活用することは、注釈付きデータの不足のために大きな障害に直面する。
本稿では、イベントベースの未注釈データに基づいて、注釈付きフレームベースのデータに基づいてトレーニングされたディープニューラルネットワークを適用するための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-02T05:10:08Z) - CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving [38.96663258582471]
CrossZoomは新しい統合ニューラルネットワーク(CZ-Net)で、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、シャープな潜伏シーケンスを共同で回復する。
本稿では, スケール変動特性を活用し, クロスエンハンスメントを実現するために, 相互モダリティ情報を効果的に融合する, マルチスケールのぼかし融合アーキテクチャを提案する。
本稿では,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2023-09-29T03:27:53Z) - Unsupervised Domain Adaptation for Training Event-Based Networks Using
Contrastive Learning and Uncorrelated Conditioning [12.013345715187285]
イベントベースのビジョンにおけるディープラーニングは、イベントカメラの正確性による注釈付きデータの不足という課題に直面している。
イベントベースデータ画像分類のための深層ネットワークを訓練するための教師なし領域適応アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-03-22T09:51:08Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳（メタデータ） (2020-09-28T16:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。