論文の概要: High-speed and High-quality Vision Reconstruction of Spike Camera with Spike Stability Theorem
- arxiv url: http://arxiv.org/abs/2412.11639v1
- Date: Mon, 16 Dec 2024 10:33:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:55:14.837110
- Title: High-speed and High-quality Vision Reconstruction of Spike Camera with Spike Stability Theorem
- Title（参考訳）: スパイク安定理論を用いたスパイクカメラの高速・高画質ビジョン再構成
- Authors: Wei Zhang, Weiquan Yan, Yun Zhao, Wenxiang Cheng, Gang Chen, Huihui Zhou, Yonghong Tian,
- Abstract要約: スパイクストリーム特性と安定光強度の関係を明らかにする新しいスパイク安定性定理を提案する。
スパイク安定定理に基づき、スパイクカメラのリアルタイムビジョン再構成のために2つのパラメータフリーアルゴリズムを設計する。
我々の研究は、スパイクカメラのリアルタイムエッジビジョン処理のための新しい定理とアルゴリズムの基礎を提供する。
- 参考スコア（独自算出の注目度）: 26.827138186323698
- License:
- Abstract: Neuromorphic vision sensors, such as the dynamic vision sensor (DVS) and spike camera, have gained increasing attention in recent years. The spike camera can detect fine textures by mimicking the fovea in the human visual system, and output a high-frequency spike stream. Real-time high-quality vision reconstruction from the spike stream can build a bridge to high-level vision task applications of the spike camera. To realize high-speed and high-quality vision reconstruction of the spike camera, we propose a new spike stability theorem that reveals the relationship between spike stream characteristics and stable light intensity. Based on the spike stability theorem, two parameter-free algorithms are designed for the real-time vision reconstruction of the spike camera. To demonstrate the performances of our algorithms, two datasets (a public dataset PKU-Spike-High-Speed and a newly constructed dataset SpikeCityPCL) are used to compare the reconstruction quality and speed of various reconstruction methods. Experimental results show that, compared with the current state-of-the-art (SOTA) reconstruction methods, our reconstruction methods obtain the best tradeoff between the reconstruction quality and speed. Additionally, we design the FPGA implementation method of our algorithms to realize the real-time (running at 20,000 FPS) visual reconstruction. Our work provides new theorem and algorithm foundations for the real-time edge-end vision processing of the spike camera.
- Abstract（参考訳）: 近年,ダイナミックビジョンセンサ(DVS)やスパイクカメラなどのニューロモルフィック視覚センサが注目されている。
スパイクカメラは、人間の視覚系における葉を模倣して微細なテクスチャを検出することができ、高周波スパイクストリームを出力する。
スパイクストリームからのリアルタイムな高品質な視覚再構成は、スパイクカメラのハイレベルな視覚タスクアプリケーションへのブリッジを構築することができる。
スパイクカメラの高速かつ高品質な視覚再構成を実現するために,スパイクストリーム特性と安定光強度の関係を明らかにする新しいスパイク安定定理を提案する。
スパイク安定定理に基づき、スパイクカメラのリアルタイムビジョン再構成のために2つのパラメータフリーアルゴリズムを設計する。
提案アルゴリズムの性能を実証するために,2つのデータセット(公開データセットPKU-Spike-High-Speedと新たに構築されたデータセットSpikeCityPCL)を用いて,再構成手法の再現性と高速化を比較した。
実験の結果, 現状のSOTA (State-of-the-art Restruction Method) と比較すると, 再建法は復元品質と速度の最良のトレードオフが得られることがわかった。
さらに,実時間2万FPSの視覚再構成を実現するために,提案アルゴリズムのFPGA実装手法を設計する。
我々の研究は、スパイクカメラのリアルタイムエッジビジョン処理のための新しい定理とアルゴリズムの基礎を提供する。
関連論文リスト
- SwinSF: Image Reconstruction from Spatial-Temporal Spike Streams [2.609896297570564]
スパイクストリームからの動的シーン再構築のための新しいモデルであるSwin Spikeformer(SwinSF)を紹介する。
SwinSFは、シフトしたウィンドウの自己注意と時間的スパイクアテンションを組み合わせ、包括的な特徴抽出を保証する。
我々は、最新のスパイクカメラの解像度と一致するスパイク画像再構成のための新しい合成データセットを構築した。
論文 参考訳（メタデータ） (2024-07-22T15:17:39Z) - Spike-NeRF: Neural Radiance Field Based On Spike Camera [24.829344089740303]
スパイクデータから導出した最初のニューラルレーダランス場であるSpike-NeRFを提案する。
NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。
その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-25T04:05:23Z) - PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment [91.38256332633544]
PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
論文 参考訳（メタデータ） (2024-03-15T15:05:29Z) - SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T15:29:09Z) - Finding Visual Saliency in Continuous Spike Stream [23.591309376586835]
本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。
我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-10T15:15:35Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Recurrent Spike-based Image Restoration under General Illumination [21.630646894529065]
スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである
既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。
本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-06T04:24:28Z) - Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。
スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。
実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-04-06T14:59:48Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。