論文の概要: Single-Photon 3D Imaging with Equi-Depth Photon Histograms
- arxiv url: http://arxiv.org/abs/2408.16150v1
- Date: Wed, 28 Aug 2024 22:02:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 15:34:56.839802
- Title: Single-Photon 3D Imaging with Equi-Depth Photon Histograms
- Title(参考訳): Equi-Depth Photon Histogram を用いた1光子3次元イメージング
- Authors: Kaustubh Sadekar, David Maier, Atul Ingle,
- Abstract要約: 単一光子3Dカメラは、検出された光子タイムスタンプの等幅(EW)ヒストグラムを形成することにより、レーザーパルスのラウンドトリップ時間を推定する。
EWヒストグラムは高い帯域幅と画素内メモリを必要とするため、SPCはリソース制限された設定では魅力的ではない。
等深度(ED)ヒストグラムに基づく3次元センシング手法を提案する。
- 参考スコア(独自算出の注目度): 4.432168053497992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-photon cameras present a promising avenue for high-resolution 3D imaging. They have ultra-high sensitivity -- down to individual photons -- and can record photon arrival times with extremely high (sub-nanosecond) resolution. Single-photon 3D cameras estimate the round-trip time of a laser pulse by forming equi-width (EW) histograms of detected photon timestamps. Acquiring and transferring such EW histograms requires high bandwidth and in-pixel memory, making SPCs less attractive in resource-constrained settings such as mobile devices and AR/VR headsets. In this work we propose a 3D sensing technique based on equi-depth (ED) histograms. ED histograms compress timestamp data more efficiently than EW histograms, reducing the bandwidth requirement. Moreover, to reduce the in-pixel memory requirement, we propose a lightweight algorithm to estimate ED histograms in an online fashion without explicitly storing the photon timestamps. This algorithm is amenable to future in-pixel implementations. We propose algorithms that process ED histograms to perform 3D computer-vision tasks of estimating scene distance maps and performing visual odometry under challenging conditions such as high ambient light. Our work paves the way towards lower bandwidth and reduced in-pixel memory requirements for SPCs, making them attractive for resource-constrained 3D vision applications. Project page: $\href{https://www.computational.camera/pedh}{https://www.computational.camera/pedh}$
- Abstract(参考訳): 単光子カメラは高解像度の3Dイメージングに有望な道を示す。
個々の光子まで超高感度で、超高解像度(ナノ秒以下)で光子到着時間を記録できる。
単一光子3Dカメラは、検出された光子タイムスタンプの等幅(EW)ヒストグラムを形成することにより、レーザーパルスのラウンドトリップ時間を推定する。
このようなEWヒストグラムの取得と転送は、高帯域幅と画素内メモリを必要とするため、モバイルデバイスやAR/VRヘッドセットのようなリソース制約のある設定では、SPCの魅力が低下する。
本研究では, 等深度(ED)ヒストグラムに基づく3次元センシング手法を提案する。
EDヒストグラムはEWヒストグラムよりも効率的にタイムスタンプデータを圧縮し、帯域幅の要求を低減した。
さらに,画素内メモリの必要量を削減するために,光子タイムスタンプを明示的に保存することなく,EDヒストグラムをオンライン形式で推定する軽量アルゴリズムを提案する。
このアルゴリズムは将来の画素内実装に有効である。
我々は,EDヒストグラム処理アルゴリズムを提案し,シーン距離マップを推定し,高環境光などの難易度条件下で視覚計測を行う3次元コンピュータビジョンタスクを実行する。
我々の研究は、SPCの低帯域化と画素内メモリ要件の削減を図り、リソース制約された3Dビジョンアプリケーションにとって魅力的なものとなった。
プロジェクトページ: $\href{https://www.computational.camera/pedh}{https://www.computational.camera/pedh}$
関連論文リスト
- bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。
Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。
本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
論文 参考訳(メタデータ) (2024-10-30T17:30:35Z) - Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar [8.464054039931245]
ライダーは、ターゲットに光のパルスを放出し、反射光の光速遅延を記録することで、3Dシーンの幾何学を捉えている。
従来のライダーシステムは、後方散乱光の生で捕獲された波形を出力しない。
我々は,光子ノイズに対するロバスト性を向上させる新しい正則化戦略を開発し,画素あたり10光子程度で正確な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-08-22T08:12:09Z) - Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳(メタデータ) (2024-07-15T07:16:11Z) - Count-Free Single-Photon 3D Imaging with Race Logic [6.204834501774316]
単光子3Dカメラは、各カメラ画素に個々の光子の到着を捉え、レーザパルスの往復時間を決定する。
画素内ヒストグラム処理は計算コストが高く、1ピクセルあたりに大量のメモリを必要とする。
ここでは、光子数を明示的に記憶することなく、距離推定のためのオンライン手法を提案する。
論文 参考訳(メタデータ) (2023-07-10T22:17:59Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T17:56:01Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - 3D Scene Inference from Transient Histograms [17.916392079019175]
ピコからナノ秒の光を捉える時間分解画像センサーは、ニッチな用途に限られていた。
我々は,最小時間分解画像センサからシーン情報をキャプチャする,低コストで低消費電力の画像モダリティを提案する。
論文 参考訳(メタデータ) (2022-11-09T18:31:50Z) - Video super-resolution for single-photon LIDAR [0.0]
3D Time-of-Flight (ToF)イメージセンサーは、自動運転車、拡張現実(AR)、ロボット工学などの用途で広く利用されている。
本稿では,合成深度シーケンスを用いて3次元畳み込みニューラルネットワーク(CNN)を学習し,x4深度データを復調・アップスケーリングする。
GPUアクセラレーションでは、フレームは毎秒30フレーム以上で処理され、障害物回避に必要な低遅延イメージングに適している。
論文 参考訳(メタデータ) (2022-10-19T11:33:29Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - High-speed object detection with a single-photon time-of-flight image
sensor [2.648554238948439]
我々は,64×32の空間解像度で16ビンの光子タイミングヒストグラムを出力する携帯型SPADカメラシステムの結果を報告する。
結果は、人間の反応時間よりも早く恩恵を受けるであろう安全クリティカルなコンピュータビジョンアプリケーションに関係している。
論文 参考訳(メタデータ) (2021-07-28T14:53:44Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。