論文の概要: A PyTorch-Enabled Tool for Synthetic Event Camera Data Generation and Algorithm Development

• arxiv url: http://arxiv.org/abs/2503.09754v1
• Date: Wed, 12 Mar 2025 18:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:35.235144
• Title: A PyTorch-Enabled Tool for Synthetic Event Camera Data Generation and Algorithm Development
• Title（参考訳）: 合成イベントカメラデータ生成とアルゴリズム開発のためのPyTorch-Enabledツール
• Authors: Joseph L. Greene, Adrish Kar, Ignacio Galindo, Elijah Quiles, Elliott Chen, Matthew Anderson,
• Abstract要約: イベントカメラデータのシミュレーションと処理を行うPyTorchベースのライブラリであるPythonで,SENPI(Synthetic Events for Neural Processing and Integration)を導入する。 SENPIには、強度ベースのデータをイベント表現に変換し、イベントカメラのパフォーマンスを評価する、微分可能なデジタルツインが含まれている。 SENPIは、合成出力と実際のイベントカメラデータを比較して、リアルなイベントベースデータを生成する能力を示し、これらの結果を用いて、イベントベース知覚の特性と有用性に関する結論を導出する。
• 参考スコア（独自算出の注目度）: 0.3875852578999189
• License:
• Abstract: Event, or neuromorphic cameras, offer a novel encoding of natural scenes by asynchronously reporting significant changes in brightness, known as events, with improved dynamic range, temporal resolution and lower data bandwidth when compared to conventional cameras. However, their adoption in domain-specific research tasks is hindered in part by limited commercial availability, lack of existing datasets, and challenges related to predicting the impact of their nonlinear optical encoding, unique noise model and tensor-based data processing requirements. To address these challenges, we introduce Synthetic Events for Neural Processing and Integration (SENPI) in Python, a PyTorch-based library for simulating and processing event camera data. SENPI includes a differentiable digital twin that converts intensity-based data into event representations, allowing for evaluation of event camera performance while handling the non-smooth and nonlinear nature of the forward model The library also supports modules for event-based I/O, manipulation, filtering and visualization, creating efficient and scalable workflows for both synthetic and real event-based data. We demonstrate SENPI's ability to produce realistic event-based data by comparing synthetic outputs to real event camera data and use these results to draw conclusions on the properties and utility of event-based perception. Additionally, we showcase SENPI's use in exploring event camera behavior under varying noise conditions and optimizing event contrast threshold for improved encoding under target conditions. Ultimately, SENPI aims to lower the barrier to entry for researchers by providing an accessible tool for event data generation and algorithmic developmnent, making it a valuable resource for advancing research in neuromorphic vision systems.
• Abstract（参考訳）: イベント(英: Event)またはニューロモルフィックカメラ(英: neuromorphic camera)は、従来のカメラと比較して、ダイナミックレンジ、時間分解能、データ帯域幅が改善され、イベントとして知られる明るさの大幅な変化を非同期に報告することで、自然のシーンの新たなエンコーディングを提供する。 しかし、ドメイン固有の研究タスクへの導入は、商業的可用性の制限、既存のデータセットの欠如、非線形光学符号化、ユニークなノイズモデル、テンソルベースのデータ処理要求の影響を予測することに関わる課題など、部分的に妨げられている。 これらの課題に対処するために、イベントカメラデータのシミュレーションと処理を行うPyTorchベースのライブラリであるPythonのSENPI(Synthetic Events for Neural Processing and Integration)を紹介した。 SENPIには、強度ベースのデータをイベント表現に変換し、前方モデルの非滑らかで非線形な性質を扱いながら、イベントカメラのパフォーマンスの評価を可能にする、微分可能なデジタルツインが含まれている。 SENPIは、合成出力と実際のイベントカメラデータを比較して、リアルなイベントベースデータを生成する能力を示し、これらの結果を用いて、イベントベース知覚の特性と有用性に関する結論を導出する。 さらに,SENPIによるノイズ条件下でのイベントカメラの動作探索と,目標条件下での符号化改善のためのイベントコントラスト閾値の最適化について紹介する。 最終的に、SENPIは、イベントデータ生成とアルゴリズムの発達のためのアクセス可能なツールを提供することで、研究者の参入障壁を低くすることを目的としており、ニューロモルフィック視覚システムの研究を進めるための貴重なリソースとなっている。

関連論文リスト

• Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
  イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。 このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。 我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
  論文  参考訳（メタデータ） (2024-08-19T20:27:08Z)
• A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
  イベントカメラは、非同期バイナリスパイクとして光強度の時間変化を符号化する。 従来の画像に基づく深度推定手法には、従来のスパイク出力とラベル付きデータセットの不足が大きな課題となっている。 本研究では, スパイキングデータのユニークな特性を利用して, 深度推定のための新しいエネルギー効率の高いスパイク駆動型トランスフォーマーネットワークを提案する。
  論文  参考訳（メタデータ） (2024-04-26T11:32:53Z)
• Event-assisted Low-Light Video Object Segmentation [47.28027938310957]
  イベントカメラは、このような低照度条件下でオブジェクトの可視性を高め、VOSメソッドを支援することを約束する。 本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:41:22Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SPADES: A Realistic Spacecraft Pose Estimation Dataset using Event Sensing [9.583223655096077]
  実際のターゲットデータセットへのアクセスが限られているため、アルゴリズムはしばしば合成データを使用して訓練され、実際のドメインに適用される。 イベントセンシングは過去にも行われており、シミュレーションと実世界のシナリオの間のドメインギャップを減らすことが示されている。 制御された実験室で取得した実イベントデータと、同じカメラ内在性を用いてイベントデータをシミュレートした新しいデータセットSPADESを提案する。
  論文  参考訳（メタデータ） (2023-11-09T12:14:47Z)
• On the Generation of a Synthetic Event-Based Vision Dataset for Navigation and Landing [69.34740063574921]
  本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。 我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。 パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-08-01T09:14:20Z)
• A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
  本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。 我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Neuromorphic Camera Denoising using Graph Neural Network-driven Transformers [3.805262583092311]
  ニューロモルフィック・ビジョン(Neuromorphic vision)は、コンピュータビジョンコミュニティのパラダイムシフトを引き起こしたバイオインスパイアされた技術である。 ニューロモルフィックカメラは、かなりの量の計測ノイズに悩まされている。 このノイズは、ニューロモルフィック事象に基づく知覚とナビゲーションアルゴリズムの性能を劣化させる。
  論文  参考訳（メタデータ） (2021-12-17T18:57:36Z)
• Robust Event Classification Using Imperfect Real-world PMU Data [58.26737360525643]
  本研究では,不完全な実世界のファサー計測単位(PMU)データを用いて,ロバストな事象分類について検討する。 我々は、堅牢なイベント分類器を訓練するための新しい機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-10-19T17:41:43Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。