論文の概要: Thin On-Sensor Nanophotonic Array Cameras
- arxiv url: http://arxiv.org/abs/2308.02797v1
- Date: Sat, 5 Aug 2023 06:04:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 18:38:41.202975
- Title: Thin On-Sensor Nanophotonic Array Cameras
- Title（参考訳）: 薄型オンセンサ型ナノフォトニックアレイカメラ
- Authors: Praneeth Chakravarthula, Jipeng Sun, Xiao Li, Chenyang Lei, Gene Chou,
Mario Bijelic, Johannes Froesch, Arka Majumdar, Felix Heide
- Abstract要約: 本稿では,コモディティカメラの代替として,エフフラット型ナノフォトニクス計算カメラを紹介する。
光アレイは、700nmの高さで平らで、センサーから2.5mmの距離のセンサーカバーガラスの上に埋め込まれている。
提案手法では, 生成拡散モデルを用いて, 暗黙の先行画像のサンプル化を行い, 平面画像からメガピクセル画像の再構成を行う。
- 参考スコア（独自算出の注目度）: 36.981384762023794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Today's commodity camera systems rely on compound optics to map light
originating from the scene to positions on the sensor where it gets recorded as
an image. To record images without optical aberrations, i.e., deviations from
Gauss' linear model of optics, typical lens systems introduce increasingly
complex stacks of optical elements which are responsible for the height of
existing commodity cameras. In this work, we investigate \emph{flat
nanophotonic computational cameras} as an alternative that employs an array of
skewed lenslets and a learned reconstruction approach. The optical array is
embedded on a metasurface that, at 700~nm height, is flat and sits on the
sensor cover glass at 2.5~mm focal distance from the sensor. To tackle the
highly chromatic response of a metasurface and design the array over the entire
sensor, we propose a differentiable optimization method that continuously
samples over the visible spectrum and factorizes the optical modulation for
different incident fields into individual lenses. We reconstruct a megapixel
image from our flat imager with a \emph{learned probabilistic reconstruction}
method that employs a generative diffusion model to sample an implicit prior.
To tackle \emph{scene-dependent aberrations in broadband}, we propose a method
for acquiring paired captured training data in varying illumination conditions.
We assess the proposed flat camera design in simulation and with an
experimental prototype, validating that the method is capable of recovering
images from diverse scenes in broadband with a single nanophotonic layer.
- Abstract（参考訳）: 今日のコモディティカメラシステムは、シーンから発する光をイメージとして記録されるセンサーの位置にマッピングするために複合光学に依存している。
光学的収差、すなわちガウスの線形光学モデルからの逸脱を伴わずに画像を記録するために、典型的なレンズシステムは、既存のコモディティカメラの高さに責任を持つ光学素子のスタックをますます複雑化する。
本研究では,歪んだレンズレットの配列と学習した再構成アプローチを用いた代替として, \emph{flat nanophotonic computational cameras} について検討する。
光アレイは、700〜nmの高さで平らで、センサーから2.5〜mmの距離のセンサーカバーガラスの上に埋め込まれている。
準曲面の高色応答に取り組み、センサ全体のアレイを設計するために、可視光スペクトルを連続的にサンプリングし、異なる入射場に対する光学変調を個々のレンズに分解する微分可能最適化法を提案する。
我々は,生成拡散モデルを用いて暗黙の先行標本をサンプリングする \emph{learned probabilistic reconstruction} 法を用いて,平面画像からメガピクセル画像を再構成する。
ブロードバンドにおける 'emph{scene-dependent aberrations' に取り組み, 異なる照明条件下でのペア捕獲訓練データを取得する方法を提案する。
提案するフラットカメラの設計をシミュレーションおよび実験プロトタイプを用いて評価し,単一ナノフォトニック層で広帯域の多様なシーンから画像を復元できることを確認した。
関連論文リスト
- bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。
Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。
本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-30T17:30:35Z) - Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - Computational Optics for Mobile Terminals in Mass Production [17.413494778377565]
写真から測定した周波数特性とシステムパラメータの関係を説明するために,摂動型レンズシステムモデルを構築した。
このモデルに基づいて, 加工サンプルのSFRからプロキシカメラを構築するための最適化フレームワークを提案する。
プロキシカメラを用いて、光学収差とランダムな製造バイアスをエンコードしたデータペアを合成し、収差に基づくアルゴリズムを訓練する。
論文 参考訳（メタデータ） (2023-05-10T04:17:33Z) - Learning rich optical embeddings for privacy-preserving lensless image
classification [17.169529483306103]
我々は、光学系をエンコーダとしてキャストするユニークな多重化特性を利用して、カメラセンサーに直接学習した埋め込みを生成する。
画像分類の文脈では、エンコーダのパラメータと画像分類器のパラメータをエンドツーエンドで共同で最適化する。
我々の実験は、レンズレス光エンコーダとデジタル処理を共同で学習することで、センサーに低解像度の埋め込みが可能であることを示し、その結果、これらの測定から有意義な画像の復元がはるかに困難であることから、プライバシーが向上することを示している。
論文 参考訳（メタデータ） (2022-06-03T07:38:09Z) - Coded Illumination for Improved Lensless Imaging [22.992552346745523]
我々は,レンズレスカメラで再構成した画像の品質向上のために,符号化照明を用いることを提案する。
画像モデルでは、レンズレスカメラがセンサを計測する際、シーン/オブジェクトは複数の符号化照明パターンで照らされる。
本稿では,システムの分離性とブロック対角構造を利用した高速かつ低複雑さな回復アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-25T01:22:40Z) - Compound eye inspired flat lensless imaging with spatially-coded
Voronoi-Fresnel phase [32.914536774672925]
空間符号化されたVoronoi-Fresnel相を有するレンズレスカメラを,生体共役複合眼に触発されて,優れた画質を実現するために報告する。
1.6メガピクセル画像センサの試作型Voronoi-Fresnelレンズレスカメラを用いて,様々な照明条件下での撮像性能を実証および検証した。
論文 参考訳（メタデータ） (2021-09-28T13:13:58Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳（メタデータ） (2021-04-07T12:00:38Z) - PlenoptiCam v1.0: A light-field imaging framework [8.467466998915018]
光界カメラは狭帯域深度センシングアプリケーションにおいてリッチな3次元情報検索において重要な役割を担っている。
レンズカメラによる露光から光フィールドを構成する際の重要な障害は、4次元画像データを計算的に調整し、調整し、再配置することである。
特定の望遠カメラ専用のパイプラインを調整することで、全体的な画質を向上させるためのいくつかの試みが提案されている。
論文 参考訳（メタデータ） (2020-10-14T09:23:18Z) - Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network [101.59693839475783]
そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。
提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
論文 参考訳（メタデータ） (2020-02-26T02:36:57Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。