論文の概要: Large-scale single-photon imaging

• arxiv url: http://arxiv.org/abs/2212.13654v1
• Date: Wed, 28 Dec 2022 00:38:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 16:21:44.640975
• Title: Large-scale single-photon imaging
• Title（参考訳）: 大規模単一光子イメージング
• Authors: Liheng Bian, Haoze Song, Lintao Peng, Xuyang Chang, Xi Yang, Roarke Horstmeyer, Lin Ye, Tong Qin, Dezhi Zheng, Jun Zhang
• Abstract要約: 単一光子アバランシェダイオード(SPAD)アレイは、蛍光寿命イメージングや量子コンピューティングなどの様々な分野に広く応用されている。 しかし、複雑なハードウェア製造工法とSPADアレイのノイズ障害のため、大規模で高忠実な単一光子イメージングは依然として大きな課題である。 我々はSPADにディープラーニングを導入し、ビット深度と画像品質を大幅に向上させ、超高解像度単一光子イメージングを桁違いに実現した。
• 参考スコア（独自算出の注目度）: 10.210597636941937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benefiting from its single-photon sensitivity, single-photon avalanche diode (SPAD) array has been widely applied in various fields such as fluorescence lifetime imaging and quantum computing. However, large-scale high-fidelity single-photon imaging remains a big challenge, due to the complex hardware manufacture craft and heavy noise disturbance of SPAD arrays. In this work, we introduce deep learning into SPAD, enabling super-resolution single-photon imaging over an order of magnitude, with significant enhancement of bit depth and imaging quality. We first studied the complex photon flow model of SPAD electronics to accurately characterize multiple physical noise sources, and collected a real SPAD image dataset (64 $\times$ 32 pixels, 90 scenes, 10 different bit depth, 3 different illumination flux, 2790 images in total) to calibrate noise model parameters. With this real-world physical noise model, we for the first time synthesized a large-scale realistic single-photon image dataset (image pairs of 5 different resolutions with maximum megapixels, 17250 scenes, 10 different bit depth, 3 different illumination flux, 2.6 million images in total) for subsequent network training. To tackle the severe super-resolution challenge of SPAD inputs with low bit depth, low resolution, and heavy noise, we further built a deep transformer network with a content-adaptive self-attention mechanism and gated fusion modules, which can dig global contextual features to remove multi-source noise and extract full-frequency details. We applied the technique on a series of experiments including macroscopic and microscopic imaging, microfluidic inspection, and Fourier ptychography. The experiments validate the technique's state-of-the-art super-resolution SPAD imaging performance, with more than 5 dB superiority on PSNR compared to the existing methods.
• Abstract（参考訳）: 単一光子感度から得られる1光子アバランシェダイオード(SPAD)アレイは、蛍光寿命イメージングや量子コンピューティングなどの様々な分野に広く応用されている。 しかし、複雑なハードウェア製造技術とSPADアレイのノイズ障害のため、大規模な高忠実な単一光子イメージングは依然として大きな課題である。 本研究では,SPADに深層学習を導入し,高分解能単一光子イメージングを桁違いに実現し,ビット深度と画像品質を大幅に向上させる。 我々はまず,複数の物理的ノイズ源を正確に特徴付けるために,SPAD電子回路の複雑な光子フローモデルについて検討し,実SPAD画像データセット(64$\times$32ピクセル,90シーン,10ビット深度,3異なる照明フラックス,合計2790イメージ)を収集し,ノイズモデルパラメータの校正を行った。 この実世界の物理ノイズモデルを用いて,我々は,大規模で現実的な単光子画像データセット(最大メガピクセル,17250シーン,10ビット深さ,3つの異なる照明フラックス,合計2.6万画像を含む5つの異なる解像度の画像ペア)を,ネットワークトレーニングのために初めて合成した。 また,SPAD入力を低ビット深度,低解像度,高雑音で高解像度に処理するために,コンテンツ適応型自己アテンション機構とゲート融合モジュールを備えたディープトランスフォーマネットワークを構築し,グローバルなコンテクスト特徴を抽出し,マルチソースノイズを除去し,全周波数の詳細を抽出する。 本手法を, マクロ・顕微鏡画像, マイクロ流体検査, フーリエプチコグラフィーなど, 一連の実験に応用した。 実験は、この技術の最先端の超高解像度spad撮像性能を検証し、psnrで5db以上も優れていることを確認した。

関連論文リスト

• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Phase Guided Light Field for Spatial-Depth High Resolution 3D Imaging [36.208109063579066]
  3Dイメージングでは、光界カメラは通常単発で、空間解像度と深度精度の低下に悩まされる。 そこで本研究では,オフザシェルフ光場カメラの空間分解能と深度を両立させる位相誘導光場アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-17T15:08:15Z)
• Passive superresolution imaging of incoherent objects [63.942632088208505]
  手法は、Hermite-Gaussianモードとその重ね合わせのオーバーコンプリートベースで、画像平面内のフィールドの空間モード成分を測定することで構成される。 ディープニューラルネットワークは、これらの測定からオブジェクトを再構築するために使用される。
  論文  参考訳（メタデータ） (2023-04-19T15:53:09Z)
• Simulating single-photon detector array sensors for depth imaging [2.497104612216142]
  単光雪崩検知器(SPAD)アレイは急速に進歩する技術である。 本研究では,SPADアレイを用いた深度イメージングの基本的な限界を確立するための,頑健で簡単な数値計算手法を確立する。
  論文  参考訳（メタデータ） (2022-10-07T13:23:34Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• Robust photon-efficient imaging using a pixel-wise residual shrinkage network [7.557893223548758]
  単光子光検出・測光(LiDAR)は、挑戦的なシナリオで3Dイメージングに広く応用されている。 収集されたデータの信号光子数と高雑音は 深度画像の正確な予測に 大きな課題をもたらしました 高雑音データからの光子効率イメージングのための画素ワイド残差縮小ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-05T05:08:12Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• Robust super-resolution depth imaging via a multi-feature fusion deep network [2.351601888896043]
  単一光子感度検出器(SPAD)アレイによる光検出・測光(LIDAR)は、高フレームレートで深度画像の取得を可能にする新興技術である。 我々は、カメラのヒストグラムデータから抽出できる複数の特徴を活用するために構築されたディープネットワークを開発する。 ネットワークを様々な3Dデータに適用し,デノナイジングと4倍の解像度の深度向上を実証する。
  論文  参考訳（メタデータ） (2020-11-20T14:24:12Z)
• Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
  単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。 本手法では, 回折光学素子 (DOE) を用いる。 DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-01T14:19:35Z)
• Quanta Burst Photography [15.722085082004934]
  単光子アバランシェダイオード(SPADs)は、個々の入射光を検出できる新しいセンサー技術である。 本研究では,SPCを受動撮像装置として活用した量子バースト撮影技術について述べる。
  論文  参考訳（メタデータ） (2020-06-21T16:20:29Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。