論文の概要: A Plug-and-Play Algorithm for 3D Video Super-Resolution of Single-Photon LiDAR data

• arxiv url: http://arxiv.org/abs/2412.09427v1
• Date: Thu, 12 Dec 2024 16:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:19.018653
• Title: A Plug-and-Play Algorithm for 3D Video Super-Resolution of Single-Photon LiDAR data
• Title（参考訳）: 単一光子LiDARデータの3次元超解像のためのプラグアンドプレイアルゴリズム
• Authors: Alice Ruget, Lewis Wilson, Jonathan Leach, Rachael Tobin, Aongus Mccarthy, Gerald S. Buller, Steve Mclaughlin, Abderrahim Halimi,
• Abstract要約: 単光子アバランシェダイオード(SPAD)は、個々の光子を検出し、ピコ秒分解能で到着時間を記録できる高度なセンサーである。 本研究では,SPADデータから移動シーンの3次元再構成を改善するための新しい計算画像処理アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.378429123269604
• License:
• Abstract: Single-photon avalanche diodes (SPADs) are advanced sensors capable of detecting individual photons and recording their arrival times with picosecond resolution using time-correlated Single-Photon Counting detection techniques. They are used in various applications, such as LiDAR, and can capture high-speed sequences of binary single-photon images, offering great potential for reconstructing 3D environments with high motion dynamics. To complement single-photon data, they are often paired with conventional passive cameras, which capture high-resolution (HR) intensity images at a lower frame rate. However, 3D reconstruction from SPAD data faces challenges. Aggregating multiple binary measurements improves precision and reduces noise but can cause motion blur in dynamic scenes. Additionally, SPAD arrays often have lower resolution than passive cameras. To address these issues, we propose a novel computational imaging algorithm to improve the 3D reconstruction of moving scenes from SPAD data by addressing the motion blur and increasing the native spatial resolution. We adopt a plug-and-play approach within an optimization scheme alternating between guided video super-resolution of the 3D scene, and precise image realignment using optical flow. Experiments on synthetic data show significantly improved image resolutions across various signal-to-noise ratios and photon levels. We validate our method using real-world SPAD measurements on three practical situations with dynamic objects. First on fast-moving scenes in laboratory conditions at short range; second very low resolution imaging of people with a consumer-grade SPAD sensor from STMicroelectronics; and finally, HR imaging of people walking outdoors in daylight at a range of 325 meters under eye-safe illumination conditions using a short-wave infrared SPAD camera. These results demonstrate the robustness and versatility of our approach.
• Abstract（参考訳）: 単光子アバランシェダイオード(英: Single- Photon Avalanche Diodes、SPAD)は、個々の光子を検出し、その到着時間をピコ秒分解能で記録できる高度なセンサーである。 それらはLiDARなどの様々なアプリケーションで使われており、バイナリ単一光子画像の高速なシーケンスをキャプチャでき、高運動ダイナミクスで3D環境を再構築する大きな可能性を秘めている。 単光子データを補完するために、しばしば従来の受動カメラと組み合わせられ、低フレームレートで高解像度(HR)強度の画像を撮影する。 しかし,SPADデータからの3次元再構成は課題に直面している。 複数のバイナリ測定を集約することで精度が向上し、ノイズを低減できるが、ダイナミックなシーンでは動きがぼやけてしまう。 さらに、SPADアレイは受動カメラよりも解像度が低いことが多い。 これらの問題に対処するために,動きのぼやけに対処し,空間分解能を高めることにより,SPADデータから移動シーンの3次元再構成を改善する新しい計算画像アルゴリズムを提案する。 我々は、3Dシーンのガイド付きビデオ超解像と光学的フローを用いた正確な画像認識とを交互に行う最適化方式にプラグイン・アンド・プレイ方式を採用する。 合成データを用いた実験では、様々な信号対雑音比と光子レベルの画像分解能が著しく向上した。 動的物体を有する3つの現実的状況における実世界のSPAD測定を用いて,本手法の有効性を検証した。 第1に、短時間の室内環境における高速移動シーン、第2に、STマイクロエレクトロニクスからのコンシューマグレードのSPADセンサーを持つ人々の超低解像度画像、そして第2に、短波赤外線SPADカメラを使用して325mの視野で日光の下で屋外を歩いている人々のHR画像。 これらの結果は、我々のアプローチの堅牢性と汎用性を示している。

関連論文リスト

• SweepEvGS: Event-Based 3D Gaussian Splatting for Macro and Micro Radiance Field Rendering from a Single Sweep [48.34647667445792]
  SweepEvGSは、イベントカメラを活用して、単一のスイープから堅牢で正確な新しいビュー合成を行う、新しいハードウェア統合手法である。 SweepEvGSの強靭性と効率性は,3つの異なる画像環境における実験により検証した。 以上の結果から,SweepEvGSは視覚的レンダリング品質,レンダリング速度,計算効率において,既存の手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-12-16T09:09:42Z)
• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Towards 3D Vision with Low-Cost Single-Photon Cameras [24.711165102559438]
  小型で省エネで低コストな単光子カメラによる計測に基づいて,任意のランベルト物体の3次元形状を再構成する手法を提案する。 我々の研究は、画像ベースモデリングとアクティブレンジスキャンの関連性を引き合いに出し、単光子カメラによる3Dビジョンに向けた一歩である。
  論文  参考訳（メタデータ） (2024-03-26T15:40:05Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• Video super-resolution for single-photon LIDAR [0.0]
  3D Time-of-Flight (ToF)イメージセンサーは、自動運転車、拡張現実(AR)、ロボット工学などの用途で広く利用されている。 本稿では,合成深度シーケンスを用いて3次元畳み込みニューラルネットワーク(CNN)を学習し,x4深度データを復調・アップスケーリングする。 GPUアクセラレーションでは、フレームは毎秒30フレーム以上で処理され、障害物回避に必要な低遅延イメージングに適している。
  論文  参考訳（メタデータ） (2022-10-19T11:33:29Z)
• Single-Photon Structured Light [31.614032717665832]
  単一光子構造光」は、露光中の光子到着の有無を示すバイナリイメージを検知することで機能する。 本研究では,プロジェクタやカメラデフォーカスのような短距離効果に対して頑健に設計した誤り訂正符号を用いた新しい時間系列を開発する。 我々の実験室のプロトタイプは、非常に低いアルベドや高速な動きの物体を含む困難なシナリオで3Dイメージングを行うことができる。
  論文  参考訳（メタデータ） (2022-04-11T17:57:04Z)
• High-speed object detection with a single-photon time-of-flight image sensor [2.648554238948439]
  我々は,64×32の空間解像度で16ビンの光子タイミングヒストグラムを出力する携帯型SPADカメラシステムの結果を報告する。 結果は、人間の反応時間よりも早く恩恵を受けるであろう安全クリティカルなコンピュータビジョンアプリケーションに関係している。
  論文  参考訳（メタデータ） (2021-07-28T14:53:44Z)
• Quanta Burst Photography [15.722085082004934]
  単光子アバランシェダイオード(SPADs)は、個々の入射光を検出できる新しいセンサー技術である。 本研究では,SPCを受動撮像装置として活用した量子バースト撮影技術について述べる。
  論文  参考訳（メタデータ） (2020-06-21T16:20:29Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。