論文の概要: Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging

• arxiv url: http://arxiv.org/abs/2402.18102v2
• Date: Sat, 30 Mar 2024 06:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 13:54:43.868883
• Title: Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging
• Title（参考訳）: Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging
• Authors: Bhargav Ghanekar, Salman Siddique Khan, Pranav Sharma, Shreyas Singh, Vivek Boominathan, Kaushik Mitra, Ashok Veeraraghavan,
• Abstract要約: 単発3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、自律運転など、多くの応用分野において有用である。 画像レンズに符号化開口とDPセンサを併用したCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 以上の結果から,ALF(All-in-focus)推定では1.5dBPSNRが改善し,DPセンシングでは5-6%の深さ推定精度が得られた。
• 参考スコア（独自算出の注目度）: 25.851398356458425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Passive, compact, single-shot 3D sensing is useful in many application areas such as microscopy, medical imaging, surgical navigation, and autonomous driving where form factor, time, and power constraints can exist. Obtaining RGB-D scene information over a short imaging distance, in an ultra-compact form factor, and in a passive, snapshot manner is challenging. Dual-pixel (DP) sensors are a potential solution to achieve the same. DP sensors collect light rays from two different halves of the lens in two interleaved pixel arrays, thus capturing two slightly different views of the scene, like a stereo camera system. However, imaging with a DP sensor implies that the defocus blur size is directly proportional to the disparity seen between the views. This creates a trade-off between disparity estimation vs. deblurring accuracy. To improve this trade-off effect, we propose CADS (Coded Aperture Dual-Pixel Sensing), in which we use a coded aperture in the imaging lens along with a DP sensor. In our approach, we jointly learn an optimal coded pattern and the reconstruction algorithm in an end-to-end optimization setting. Our resulting CADS imaging system demonstrates improvement of >1.5dB PSNR in all-in-focus (AIF) estimates and 5-6% in depth estimation quality over naive DP sensing for a wide range of aperture settings. Furthermore, we build the proposed CADS prototypes for DSLR photography settings and in an endoscope and a dermoscope form factor. Our novel coded dual-pixel sensing approach demonstrates accurate RGB-D reconstruction results in simulations and real-world experiments in a passive, snapshot, and compact manner.
• Abstract（参考訳）: パッシブでコンパクトで単発の3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、フォームファクター、時間、電力制約が存在する自律運転など、多くの応用領域で有用である。 短い撮影距離、超コンパクトなフォームファクター、そして受動的でスナップショットな方法でRGB-Dシーン情報を取得することは困難である。 デュアルピクセル(DP)センサーは、これを実現するための潜在的な解決策である。 DPセンサーは、レンズの2つの異なるハーフから2つのインターリーブピクセルアレイに光線を収集し、ステレオカメラシステムのようにシーンをわずかに異なる2つのビューで撮影する。 しかし,DPセンサによる画像化は,デフォーカスのぼかしサイズがビュー間の相違と直接的に比例することを示している。 これにより、不一致推定とデブロアリングの精度のトレードオフが生じます。 このトレードオフ効果を改善するために,DPセンサとともに撮像レンズに符号化開口を用いるCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 提案手法では,エンドツーエンドの最適化設定で最適な符号化パターンと再構成アルゴリズムを共同で学習する。 以上の結果から, オールインフォーカス(AIF)推定では1.5dBPSNRが改善し, 5-6%の深さ推定精度が得られた。 さらに,デジタル一眼レフ撮影設定のためのCADSプロトタイプを,内視鏡と皮膚鏡で作成する。 我々の新しいデュアルピクセルセンシング手法は、シミュレーションや実世界の実験において、受動的、スナップショット、コンパクトな方法で正確なRGB-D再構成結果を示す。

関連論文リスト

• Continuous Cost Aggregation for Dual-Pixel Disparity Extraction [3.1153758106426603]
  本稿では,Dual-Pixel (DP) 画像の連続的コスト集約手法を提案する。 提案アルゴリズムは、画像パスに沿ってパラボラ係数を集約し、コストのマッチングにパラボラを適合させる。 デジタル一眼レフカメラと電話カメラのDPデータを用いた実験により,提案手法がDP差分推定における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-13T17:26:50Z)
• From One to Many: Dynamic Cross Attention Networks for LiDAR and Camera Fusion [12.792769704561024]
  既存の融合法では、キャリブレーションに基づいて、各3Dポイントを1つの投影された画像ピクセルに調整する傾向がある。 本稿では,動的クロスアテンション(DCA)モジュールを提案する。 Dynamic Cross Attention Network (DCAN) という名称の核融合アーキテクチャは、マルチレベルイメージ機能を活用し、ポイントクラウドの複数の表現に適応する。
  論文  参考訳（メタデータ） (2022-09-25T16:10:14Z)
• Learning Dual-Pixel Alignment for Defocus Deblurring [73.80328094662976]
  本稿では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 目に見える鋭い構造やテクスチャを回復しながら、デフォーカスのぼやけを減らし、最先端のデブロアリング法よりも優れている。
  論文  参考訳（メタデータ） (2022-04-26T07:02:58Z)
• Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning [48.063176079878055]
  本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
  論文  参考訳（メタデータ） (2021-08-11T14:45:15Z)
• Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
  3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。 既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
  提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。 tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。 この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
  論文  参考訳（メタデータ） (2021-04-06T22:42:34Z)
• Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data [42.06108142009718]
  最近の研究は、現代のデュアルピクセル(DP)センサーで利用可能な2画像ビューを用いて、データ駆動型デブロアリングに関する印象的な結果を示している。 多くのカメラがDPセンサーを搭載しているが、低レベルのDPセンサー画像へのアクセスは限られた数に限られている。 本稿では,リアルDPデータを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-06T13:12:43Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
  単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。 本手法では, 回折光学素子 (DOE) を用いる。 DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-01T14:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。