論文の概要: ADV2E: Bridging the Gap Between Analogue Circuit and Discrete Frames in the Video-to-Events Simulator

• arxiv url: http://arxiv.org/abs/2411.12250v1
• Date: Tue, 19 Nov 2024 05:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:58.922487
• Title: ADV2E: Bridging the Gap Between Analogue Circuit and Discrete Frames in the Video-to-Events Simulator
• Title（参考訳）: ADV2E:ビデオ・イベントシミュレータにおけるアナログ回路と離散フレーム間のギャップを埋める
• Authors: Xiao Jiang, Fei Zhou, Jiongzhi Lin,
• Abstract要約: イベントカメラは、従来のActive Pixel Sensor(APS)カメラとは根本的に異なり、大きな利点がある。 近年の研究では、ビデオフレームをイベントに変換するシミュレータが開発されており、実際のイベントデータセットの不足に対処している。 本稿では,イベントカメラにおける画素回路の詳細な解析に基づいて,信頼性の高いイベントデータを生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.783044920569469
• License:
• Abstract: Event cameras operate fundamentally differently from traditional Active Pixel Sensor (APS) cameras, offering significant advantages. Recent research has developed simulators to convert video frames into events, addressing the shortage of real event datasets. Current simulators primarily focus on the logical behavior of event cameras. However, the fundamental analogue properties of pixel circuits are seldom considered in simulator design. The gap between analogue pixel circuit and discrete video frames causes the degeneration of synthetic events, particularly in high-contrast scenes. In this paper, we propose a novel method of generating reliable event data based on a detailed analysis of the pixel circuitry in event cameras. We incorporate the analogue properties of event camera pixel circuits into the simulator design: (1) analogue filtering of signals from light intensity to events, and (2) a cutoff frequency that is independent of video frame rate. Experimental results on two relevant tasks, including semantic segmentation and image reconstruction, validate the reliability of simulated event data, even in high-contrast scenes. This demonstrates that deep neural networks exhibit strong generalization from simulated to real event data, confirming that the synthetic events generated by the proposed method are both realistic and well-suited for effective training.
• Abstract（参考訳）: イベントカメラは、従来のActive Pixel Sensor(APS)カメラとは根本的に異なり、大きな利点がある。 近年の研究では、ビデオフレームをイベントに変換するシミュレータが開発されており、実際のイベントデータセットの不足に対処している。 現在のシミュレータは、主にイベントカメラの論理的挙動に焦点を当てている。 しかし、画素回路の基本アナログ特性は、シミュレータ設計においてほとんど考慮されない。 アナログ画素回路と離散ビデオフレームのギャップは、特に高コントラストシーンにおいて合成イベントの劣化を引き起こす。 本稿では,イベントカメラにおける画素回路の詳細な解析に基づいて,信頼性の高いイベントデータを生成する手法を提案する。 我々は,(1)光強度からイベントへの信号のアナログフィルタリング,(2)ビデオフレームレートに依存しないカットオフ周波数といった,イベントカメラのアナログ特性をシミュレータ設計に取り入れた。 セマンティックセグメンテーションと画像再構成を含む2つの関連課題に関する実験結果は、高コントラストシーンにおいても、シミュレーションされたイベントデータの信頼性を検証する。 このことは、ディープニューラルネットワークがシミュレーションから実イベントデータへの強力な一般化を示し、提案手法によって生成された合成事象が現実的かつ効果的なトレーニングに適していることを証明している。

関連論文リスト

• Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
  イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。 このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。 我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
  論文  参考訳（メタデータ） (2024-08-19T20:27:08Z)
• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Event Camera Simulator Design for Modeling Attention-based Inference Architectures [4.409836695738517]
  本稿では,ハードウェア設計プロトタイピングのための強力なツールとなるイベントカメラシミュレータを提案する。 提案するシミュレータは,画像フレーム内の関連領域を特定する分散計算モデルを実装している。 実験の結果,シミュレータは低オーバーヘッドでイベントビジョンを効果的にエミュレートできることがわかった。
  論文  参考訳（メタデータ） (2021-05-03T22:41:45Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。