論文の概要: FoveaSPAD: Exploiting Depth Priors for Adaptive and Efficient Single-Photon 3D Imaging
- arxiv url: http://arxiv.org/abs/2412.02052v1
- Date: Tue, 03 Dec 2024 00:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:42:23.912674
- Title: FoveaSPAD: Exploiting Depth Priors for Adaptive and Efficient Single-Photon 3D Imaging
- Title（参考訳）: FoveaSPAD: 適応的かつ効率的な1光子3Dイメージングのための深度優先処理
- Authors: Justin Folden, Atul Ingle, Sanjeev J. Koppal,
- Abstract要約: 単一光子アバランシェダイオード(SPAD)は、極度感度や時間分解能などの多くの利点を提供する新興のイメージセンシング技術である。
本稿では,信号対雑音比(SNR)を向上し,計算とメモリ効率を向上させる新しいアルゴリズムとセンシングポリシーを提案する。
- 参考スコア（独自算出の注目度）: 7.350208716861244
- License:
- Abstract: Fast, efficient, and accurate depth-sensing is important for safety-critical applications such as autonomous vehicles. Direct time-of-flight LiDAR has the potential to fulfill these demands, thanks to its ability to provide high-precision depth measurements at long standoff distances. While conventional LiDAR relies on avalanche photodiodes (APDs), single-photon avalanche diodes (SPADs) are an emerging image-sensing technology that offer many advantages such as extreme sensitivity and time resolution. In this paper, we remove the key challenges to widespread adoption of SPAD-based LiDARs: their susceptibility to ambient light and the large amount of raw photon data that must be processed to obtain in-pixel depth estimates. We propose new algorithms and sensing policies that improve signal-to-noise ratio (SNR) and increase computing and memory efficiency for SPAD-based LiDARs. During capture, we use external signals to \emph{foveate}, i.e., guide how the SPAD system estimates scene depths. This foveated approach allows our method to ``zoom into'' the signal of interest, reducing the amount of raw photon data that needs to be stored and transferred from the SPAD sensor, while also improving resilience to ambient light. We show results both in simulation and also with real hardware emulation, with specific implementations achieving a 1548-fold reduction in memory usage, and our algorithms can be applied to newly available and future SPAD arrays.
- Abstract（参考訳）: 高速で効率的で正確な深度検知は、自動運転車のような安全上重要なアプリケーションにとって重要である。
飛行時間の直接LiDARは、長い待機距離で高精度の深度測定を提供する能力のおかげで、これらの要求を満たす可能性がある。
従来のLiDARはアバランシェ・フォトダイオード(APD)に依存しているが、単一光子アバランシェ・ダイオード(SPAD)は、極度感度や時間分解能などの多くの利点を提供する新しいイメージセンシング技術である。
本稿では,SPADベースのLiDARを広く採用する上で重要な課題である,環境光への感受性と,画素内深度推定を得るために処理しなければならない大量の生光子データを除去する。
本研究では,SPADベースのLiDARにおける信号対雑音比(SNR)の向上と,計算とメモリ効率の向上を目的とした新しいアルゴリズムとセンシングポリシーを提案する。
キャプチャ中に、外部信号を使って \emph{foveate}、すなわちSPADシステムがどのようにシーン深さを推定するかをガイドする。
このファベレートアプローチにより、関心のシグナルを 'zoom into' し、SPADセンサーから保存・転送するために必要な生光子データの量を削減し、環境光に対するレジリエンスを向上させることができる。
シミュレーションと実際のハードウェアエミュレーションの両方で、メモリ使用量の1548倍の削減を実現し、新しいSPADアレイと将来のSPADアレイにアルゴリズムを適用することができることを示す。
関連論文リスト
- A Plug-and-Play Algorithm for 3D Video Super-Resolution of Single-Photon LiDAR data [5.378429123269604]
単光子アバランシェダイオード(SPAD)は、個々の光子を検出し、ピコ秒分解能で到着時間を記録できる高度なセンサーである。
本研究では,SPADデータから移動シーンの3次元再構成を改善するための新しい計算画像処理アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-12T16:33:06Z) - bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。
Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。
本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-30T17:30:35Z) - Photon Inhibition for Energy-Efficient Single-Photon Imaging [19.816230454712585]
単一光子カメラ(SPC)は、困難な画像アプリケーションに最適なセンサーとして登場している。
しかし、SPADの単一光子感度はコストがかかるため、それぞれの光子検出はCMOSカメラよりも多くのエネルギーを消費する。
本稿では,この課題に対処するために,電子フォトトン阻害という計算イメージング手法を提案する。
論文 参考訳（メタデータ） (2024-09-26T23:19:44Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Deep Learning and Image Super-Resolution-Guided Beam and Power
Allocation for mmWave Networks [80.37827344656048]
我々は,ミリ波(mmWave)ネットワークのためのディープラーニング(DL)誘導ハイブリッドビームとパワーアロケーションアプローチを開発した。
教師付き学習と超解像技術の相乗効果を利用して、低オーバヘッドビームとパワーアロケーションを実現する。
論文 参考訳（メタデータ） (2023-05-08T05:40:54Z) - Video super-resolution for single-photon LIDAR [0.0]
3D Time-of-Flight (ToF)イメージセンサーは、自動運転車、拡張現実(AR)、ロボット工学などの用途で広く利用されている。
本稿では,合成深度シーケンスを用いて3次元畳み込みニューラルネットワーク(CNN)を学習し,x4深度データを復調・アップスケーリングする。
GPUアクセラレーションでは、フレームは毎秒30フレーム以上で処理され、障害物回避に必要な低遅延イメージングに適している。
論文 参考訳（メタデータ） (2022-10-19T11:33:29Z) - Simulating single-photon detector array sensors for depth imaging [2.497104612216142]
単光雪崩検知器(SPAD)アレイは急速に進歩する技術である。
本研究では,SPADアレイを用いた深度イメージングの基本的な限界を確立するための,頑健で簡単な数値計算手法を確立する。
論文 参考訳（メタデータ） (2022-10-07T13:23:34Z) - When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation [47.617222712429026]
既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
論文 参考訳（メタデータ） (2022-06-28T09:29:55Z) - High-speed object detection with a single-photon time-of-flight image
sensor [2.648554238948439]
我々は,64×32の空間解像度で16ビンの光子タイミングヒストグラムを出力する携帯型SPADカメラシステムの結果を報告する。
結果は、人間の反応時間よりも早く恩恵を受けるであろう安全クリティカルなコンピュータビジョンアプリケーションに関係している。
論文 参考訳（メタデータ） (2021-07-28T14:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。