論文の概要: SpikeCV: Open a Continuous Computer Vision Era
- arxiv url: http://arxiv.org/abs/2303.11684v1
- Date: Tue, 21 Mar 2023 09:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 15:53:02.250774
- Title: SpikeCV: Open a Continuous Computer Vision Era
- Title(参考訳): SpikeCV: 継続的コンピュータビジョンの時代を開く
- Authors: Yajing Zheng, Jiyuan Zhang, Rui Zhao, Jianhao Ding, Shiyan Chen,
Ruiqin Xiong, Zhaofei Yu and Tiejun Huang
- Abstract要約: SpikeCVはスパイクカメラ用の新しいオープンソースのコンピュータビジョンプラットフォームである。
スパイクカメラは、近年急速に発達しているニューロモルフィックな視覚センサーである。
SpikeCVは、さまざまな超高速シーンデータセット、ハードウェアインターフェース、使いやすいモジュールライブラリを提供する。
- 参考スコア(独自算出の注目度): 35.24383647855154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: SpikeCV is a new open-source computer vision platform for the spike camera,
which is a neuromorphic visual sensor that has developed rapidly in recent
years. In the spike camera, each pixel position directly accumulates the light
intensity and asynchronously fires spikes. The output binary spikes can reach a
frequency of 40,000 Hz. As a new type of visual expression, spike sequence has
high spatiotemporal completeness and preserves the continuous visual
information of the external world. Taking advantage of the low latency and high
dynamic range of the spike camera, many spike-based algorithms have made
significant progress, such as high-quality imaging and ultra-high-speed target
detection.
To build up a community ecology for the spike vision to facilitate more users
to take advantage of the spike camera, SpikeCV provides a variety of
ultra-high-speed scene datasets, hardware interfaces, and an easy-to-use
modules library. SpikeCV focuses on encapsulation for spike data,
standardization for dataset interfaces, modularization for vision tasks, and
real-time applications for challenging scenes. With the advent of the
open-source Python ecosystem, modules of SpikeCV can be used as a Python
library to fulfilled most of the numerical analysis needs of researchers. We
demonstrate the efficiency of the SpikeCV on offline inference and real-time
applications. The project repository address are
\url{https://openi.pcl.ac.cn/Cordium/SpikeCV} and
\url{https://github.com/Zyj061/SpikeCV
- Abstract(参考訳): spikecvは、スパイクカメラ用の新しいオープンソースのコンピュータビジョンプラットフォームであり、近年急速に発展している神経形視覚センサーである。
スパイクカメラでは、各画素位置が光強度を直接蓄積し、非同期にスパイクを発射する。
出力されるバイナリスパイクは40,000Hzの周波数に達することができる。
新しい視覚表現として、スパイクシーケンスは時空間完全性が高く、外界の連続的な視覚情報を保存する。
スパイクカメラの低レイテンシと高ダイナミックレンジを生かした多くのスパイクベースのアルゴリズムは、高品質の撮像や超高速ターゲット検出など、多くの進歩を遂げている。
スパイクビジョンのためのコミュニティエコロジーを構築して、より多くのユーザがスパイクカメラを利用できるようにするために、SpikeCVはさまざまな超高速シーンデータセット、ハードウェアインターフェース、使いやすいモジュールライブラリを提供する。
SpikeCVはスパイクデータのカプセル化、データセットインターフェースの標準化、ビジョンタスクのモジュール化、挑戦的なシーンのためのリアルタイムアプリケーションに焦点を当てている。
オープンソースのPythonエコシステムの出現により、SpikeCVのモジュールはPythonライブラリとして使用でき、研究者の数値解析のニーズの多くを満たすことができる。
オフラインおよびリアルタイムアプリケーションにおけるSpikeCVの効率性を示す。
プロジェクトリポジトリのアドレスは \url{https://openi.pcl.ac.cn/Cordium/SpikeCV} と \url{https://github.com/Zyj061/SpikeCV
関連論文リスト
- Finding Visual Saliency in Continuous Spike Stream [23.591309376586835]
本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。
我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
論文 参考訳(メタデータ) (2024-03-10T15:15:35Z) - Recurrent Spike-based Image Restoration under General Illumination [21.630646894529065]
スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである
既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。
本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-06T04:24:28Z) - FasterViT: Fast Vision Transformers with Hierarchical Attention [93.3766371712781]
我々は、コンピュータビジョン(CV)アプリケーションのための高速スループットに焦点を当てた、FasterViTという名前のハイブリッドCNN-ViTニューラルネットワークの新たなファミリーを設計する。
新たに導入した階層的注意(HAT)アプローチは,グローバルな自己意識を2次複雑性で分解し,計算コストを削減した多面的注意に分解する。
論文 参考訳(メタデータ) (2023-06-09T18:41:37Z) - Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。
スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。
実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-04-06T14:59:48Z) - USB: A Unified Semi-supervised Learning Benchmark [125.25384569880525]
半教師付き学習(SSL)は、大量のラベルのないデータを活用して、限定されたラベル付きサンプルを増やすことにより、モデルの一般化を改善する。
これまでの研究は通常、深層ニューラルネットワークをゼロから訓練するが、それは時間がかかり、環境に優しいものではない。
我々は、15の多様な、挑戦的で包括的なタスクを選択して、統一SSLベンチマーク(USB)を構築します。
論文 参考訳(メタデータ) (2022-08-12T15:45:48Z) - A Robust Visual Sampling Model Inspired by Receptive Field [34.61947785457023]
網膜を模倣したスパイクカメラは、スパイクを発射することでピクセル当たりの輝度の蓄積を報告できる。
現在のスパイクカメラのサンプリングモデルは、量子化やノイズの影響を受けやすいため、オブジェクトのテクスチャの詳細を効果的に捉えることはできない。
本研究では、受容場(RVSM)にインスパイアされた頑健なビジュアルサンプリングモデルを提案する。
論文 参考訳(メタデータ) (2022-01-04T08:14:56Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳(メタデータ) (2021-10-08T06:16:45Z) - StereoSpike: Depth Learning with a Spiking Neural Network [0.0]
深度推定のためのエンドツーエンドのニューロモルフィック手法を提案する。
我々はSpiking Neural Network (SNN) と、StereoSpikeという名前のU-Netライクなエンコーダデコーダアーキテクチャを用いている。
このアーキテクチャは、スポーキング以外のアーキテクチャよりも、非常によく一般化されていることを実証します。
論文 参考訳(メタデータ) (2021-09-28T14:11:36Z) - Learning Camera Miscalibration Detection [83.38916296044394]
本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。
コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。
深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
論文 参考訳(メタデータ) (2020-05-24T10:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。