論文の概要: Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging

• arxiv url: http://arxiv.org/abs/2402.18102v1
• Date: Wed, 28 Feb 2024 06:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 16:05:22.937723
• Title: Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging
• Title（参考訳）: パッシブスナップショット符号化アパーチャ2画素rgb-dイメージング
• Authors: Bhargav Ghanekar, Salman Siddique Khan, Vivek Boominathan, Pranav Sharma, Shreyas Singh, Kaushik Mitra, Ashok Veeraraghavan
• Abstract要約: 単発3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、自律運転など、多くの応用分野において有用である。 画像レンズに符号化開口とDPセンサを併用したCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 その結果,全焦点推定(AIF)では$1.5dBPSNRが改善し,DPセンシングでは5-6%の深さ推定精度が向上した。
• 参考スコア（独自算出の注目度）: 27.147735356737552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Passive, compact, single-shot 3D sensing is useful in many application areas such as microscopy, medical imaging, surgical navigation, and autonomous driving where form factor, time, and power constraints can exist. Obtaining RGB-D scene information over a short imaging distance, in an ultra-compact form factor, and in a passive, snapshot manner is challenging. Dual-pixel (DP) sensors are a potential solution to achieve the same. DP sensors collect light rays from two different halves of the lens in two interleaved pixel arrays, thus capturing two slightly different views of the scene, like a stereo camera system. However, imaging with a DP sensor implies that the defocus blur size is directly proportional to the disparity seen between the views. This creates a trade-off between disparity estimation vs. deblurring accuracy. To improve this trade-off effect, we propose CADS (Coded Aperture Dual-Pixel Sensing), in which we use a coded aperture in the imaging lens along with a DP sensor. In our approach, we jointly learn an optimal coded pattern and the reconstruction algorithm in an end-to-end optimization setting. Our resulting CADS imaging system demonstrates improvement of $>$1.5dB PSNR in all-in-focus (AIF) estimates and 5-6% in depth estimation quality over naive DP sensing for a wide range of aperture settings. Furthermore, we build the proposed CADS prototypes for DSLR photography settings and in an endoscope and a dermoscope form factor. Our novel coded dual-pixel sensing approach demonstrates accurate RGB-D reconstruction results in simulations and real-world experiments in a passive, snapshot, and compact manner.
• Abstract（参考訳）: パッシブでコンパクトな、単発の3dセンシングは、顕微鏡、医用画像、外科的ナビゲーション、そしてフォームファクター、時間、電力制約が存在する自律運転など、多くの応用領域で有用である。 短い撮影距離、超コンパクトなフォームファクター、そして受動的でスナップショットな方法でRGB-Dシーン情報を取得することは困難である。 デュアルピクセル(dp)センサーは、これを実現する潜在的な解決策である。 DPセンサーは、レンズの2つの異なるハーフから2つのインターリーブピクセルアレイに光線を収集し、ステレオカメラシステムのようにシーンをわずかに異なる2つのビューで撮影する。 しかし,DPセンサによる画像化により,デフォーカスのぼかしサイズはビュー間の差に比例することがわかった。 これにより、格差推定とデブロアリングの精度のトレードオフが生じます。 このトレードオフ効果を改善するために、DPセンサとともに撮像レンズに符号化開口を用いるCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 提案手法では,エンドツーエンドの最適化設定で最適な符号化パターンと再構成アルゴリズムを共同で学習する。 以上の結果から,全焦点推定(AIF)における$1.5dB PSNRの改善と,幅広い開口環境に対するDPセンシングによる深さ推定品質の5-6%の改善が示された。 さらに,提案するデジタル一眼レフ撮影用cadsプロトタイプを内視鏡と皮膚形態因子を用いて試作した。 我々の新しいデュアルピクセルセンシング手法は、シミュレーションや実世界の実験において、受動的、スナップショット、コンパクトな方法で正確なRGB-D再構成結果を示す。

関連論文リスト

• Disparity Estimation Using a Quad-Pixel Sensor [12.34044154078824]
  クアッドピクセル(QP)センサーは、ますます商用のモバイルカメラに統合されている。 QPDNet(QP Disparity Estimation Network)を提案する。 既存のRGB-Depthデータセットからトレーニングデータセットを生成するための合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-01T08:50:32Z)
• Continuous Cost Aggregation for Dual-Pixel Disparity Extraction [3.1153758106426603]
  本稿では,Dual-Pixel (DP) 画像の連続的コスト集約手法を提案する。 提案アルゴリズムは、画像パスに沿ってパラボラ係数を集約し、コストのマッチングにパラボラを適合させる。 デジタル一眼レフカメラと電話カメラのDPデータを用いた実験により,提案手法がDP差分推定における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-13T17:26:50Z)
• Learning Dual-Pixel Alignment for Defocus Deblurring [73.80328094662976]
  本稿では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 目に見える鋭い構造やテクスチャを回復しながら、デフォーカスのぼやけを減らし、最先端のデブロアリング法よりも優れている。
  論文  参考訳（メタデータ） (2022-04-26T07:02:58Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning [48.063176079878055]
  本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
  論文  参考訳（メタデータ） (2021-08-11T14:45:15Z)
• Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
  提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。 tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。 この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
  論文  参考訳（メタデータ） (2021-04-06T22:42:34Z)
• Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data [42.06108142009718]
  最近の研究は、現代のデュアルピクセル(DP)センサーで利用可能な2画像ビューを用いて、データ駆動型デブロアリングに関する印象的な結果を示している。 多くのカメラがDPセンサーを搭載しているが、低レベルのDPセンサー画像へのアクセスは限られた数に限られている。 本稿では,リアルDPデータを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-06T13:12:43Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
  単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。 本手法では, 回折光学素子 (DOE) を用いる。 DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-01T14:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。