論文の概要: Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging
- arxiv url: http://arxiv.org/abs/2404.11511v1
- Date: Wed, 17 Apr 2024 16:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:16:00.093923
- Title: Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging
- Title（参考訳）: 高速低帯域イメージングのためのイベントカメラSPAD
- Authors: Manasi Muglikar, Siddharth Somasundaram, Akshat Dave, Edoardo Charbon, Ramesh Raskar, Davide Scaramuzza,
- Abstract要約: イベントカメラと単光雪崩ダイオード(SPAD)センサーは、従来のカメラに代わる有望な代替手段として登場した。
これらの特性は相補的であり,低帯域幅で低照度かつ高速な画像再構成を実現するのに有効であることを示す。
- 参考スコア（独自算出の注目度）: 25.13346470561497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional cameras face a trade-off between low-light performance and high-speed imaging: longer exposure times to capture sufficient light results in motion blur, whereas shorter exposures result in Poisson-corrupted noisy images. While burst photography techniques help mitigate this tradeoff, conventional cameras are fundamentally limited in their sensor noise characteristics. Event cameras and single-photon avalanche diode (SPAD) sensors have emerged as promising alternatives to conventional cameras due to their desirable properties. SPADs are capable of single-photon sensitivity with microsecond temporal resolution, and event cameras can measure brightness changes up to 1 MHz with low bandwidth requirements. We show that these properties are complementary, and can help achieve low-light, high-speed image reconstruction with low bandwidth requirements. We introduce a sensor fusion framework to combine SPADs with event cameras to improves the reconstruction of high-speed, low-light scenes while reducing the high bandwidth cost associated with using every SPAD frame. Our evaluation, on both synthetic and real sensor data, demonstrates significant enhancements ( > 5 dB PSNR) in reconstructing low-light scenes at high temporal resolution (100 kHz) compared to conventional cameras. Event-SPAD fusion shows great promise for real-world applications, such as robotics or medical imaging.
- Abstract（参考訳）: 従来のカメラは低照度性能と高速撮像のトレードオフに直面しており、十分な光を捉えた露光時間が運動のぼやけを生じさせるのに対して、短い露光はポアソンの故障したノイズ画像をもたらす。
バースト撮影技術は、このトレードオフを緩和するのに役立つが、従来のカメラは基本的にセンサーのノイズ特性に制限されている。
イベントカメラと単光雪崩ダイオード(SPAD)センサーは、その望ましい性質から従来のカメラに代わる有望な代替手段として登場した。
SPADはマイクロ秒の時間分解能を持つ単一光子感度を持ち、イベントカメラは1MHzまでの輝度変化を低帯域幅で測定できる。
これらの特性は相補的であり,低帯域幅で低照度かつ高速な画像再構成を実現するのに有効であることを示す。
本研究では,SPADとイベントカメラを組み合わせたセンサ融合フレームワークを導入し,各SPADフレームの使用に伴う高帯域幅コストを低減しつつ,高速で低照度なシーンの再構成を改善する。
従来のカメラに比べて高時間分解能(100kHz)で低照度シーンを再構成する際の性能向上(>5dB PSNR)を示す。
イベントSPAD融合は、ロボット工学や医用画像など、現実世界のアプリケーションにとって非常に有望である。
関連論文リスト
- Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳（メタデータ） (2024-09-26T15:57:20Z) - Generalized Event Cameras [15.730999915036705]
イベントカメラは、高解像度かつ最小の帯域幅で世界をキャプチャする。
我々は、帯域幅効率のよいシーン強度を本質的に保持する一般化イベントカメラを設計する。
私たちの単一光子イベントカメラは、低再生速度で高速で高忠実なイメージングを可能にします。
論文 参考訳（メタデータ） (2024-07-02T21:48:32Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Panoramas from Photons [22.437940699523082]
低光域や高ダイナミックレンジといった困難な条件下での極端なシーンの動きを推定できる手法を提案する。
本手法は, ファクト後のフレームを階層的にグループ化し, 集約することに依存する。
高速動作と極低光下での高画質パノラマの創出と,カスタム単光子カメラの試作による超高分解能化を実証した。
論文 参考訳（メタデータ） (2023-09-07T16:07:31Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Make Explicit Calibration Implicit: Calibrate Denoiser Instead of the
Noise Model [83.9497193551511]
デジタルゲインやカメラセンサーによらず有効であるLED(Lighting Every Darkness)を導入する。
LEDは明示的なノイズモデルのキャリブレーションの必要性を排除し、高速な展開と最小限のデータを必要とする暗黙の微調整プロセスを活用する。
LEDは、センサー工学の利点を生かしながら、ディープラーニングの進歩にもっと注力することを可能にする。
論文 参考訳（メタデータ） (2023-08-07T10:09:11Z) - A Linear Comb Filter for Event Flicker Removal [11.731970880432563]
イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの非同期強度の変化をキャプチャする。
時間分解能が高いため、イベントカメラは蛍光灯やLEDライトなどのフリックに特に敏感である。
本稿では,イベントストリームから不要なフレッカイベントを取り除くために,イベントデータを前処理する線形フィルタを提案する。
論文 参考訳（メタデータ） (2022-05-17T04:47:26Z) - Are High-Resolution Event Cameras Really Needed? [62.70541164894224]
低照度条件や高速環境では、低解像度カメラは高解像度カメラより優れ、帯域幅は大幅に小さくなる。
この主張は,高解像度のイベントカメラが画素当たりのイベントレートが高いことを示す実証的証拠と理論的証拠の両方を提示する。
多くの場合、高解像度のイベントカメラは、これらの条件下では低解像度のセンサーに比べてタスク性能が低い。
論文 参考訳（メタデータ） (2022-03-28T12:06:20Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Quanta Burst Photography [15.722085082004934]
単光子アバランシェダイオード(SPADs)は、個々の入射光を検出できる新しいセンサー技術である。
本研究では,SPCを受動撮像装置として活用した量子バースト撮影技術について述べる。
論文 参考訳（メタデータ） (2020-06-21T16:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。