論文の概要: FlatNet: Towards Photorealistic Scene Reconstruction from Lensless
Measurements
- arxiv url: http://arxiv.org/abs/2010.15440v1
- Date: Thu, 29 Oct 2020 09:20:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:45:21.997796
- Title: FlatNet: Towards Photorealistic Scene Reconstruction from Lensless
Measurements
- Title（参考訳）: FlatNet:レンズレス計測による光リアルなシーン再構築を目指して
- Authors: Salman S. Khan, Varun Sundar, Vivek Boominathan, Ashok Veeraraghavan,
and Kaushik Mitra
- Abstract要約: レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。
われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
- 参考スコア（独自算出の注目度）: 31.353395064815892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lensless imaging has emerged as a potential solution towards realizing
ultra-miniature cameras by eschewing the bulky lens in a traditional camera.
Without a focusing lens, the lensless cameras rely on computational algorithms
to recover the scenes from multiplexed measurements. However, the current
iterative-optimization-based reconstruction algorithms produce noisier and
perceptually poorer images. In this work, we propose a non-iterative deep
learning based reconstruction approach that results in orders of magnitude
improvement in image quality for lensless reconstructions. Our approach, called
$\textit{FlatNet}$, lays down a framework for reconstructing high-quality
photorealistic images from mask-based lensless cameras, where the camera's
forward model formulation is known. FlatNet consists of two stages: (1) an
inversion stage that maps the measurement into a space of intermediate
reconstruction by learning parameters within the forward model formulation, and
(2) a perceptual enhancement stage that improves the perceptual quality of this
intermediate reconstruction. These stages are trained together in an end-to-end
manner. We show high-quality reconstructions by performing extensive
experiments on real and challenging scenes using two different types of
lensless prototypes: one which uses a separable forward model and another,
which uses a more general non-separable cropped-convolution model. Our
end-to-end approach is fast, produces photorealistic reconstructions, and is
easy to adopt for other mask-based lensless cameras.
- Abstract（参考訳）: レンズレスイメージングは、従来のカメラでかさばるレンズを駆使して超小型カメラを実現するための潜在的な解決策として登場した。
フォーカスレンズがなければ、レンズレスカメラは多重測定からシーンを復元するために計算アルゴリズムに依存する。
しかし、現在の反復最適化に基づく再構成アルゴリズムは、ノイズや知覚的に劣る画像を生成する。
本研究では,レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。
当社のアプローチは$\textit{flatnet}$と呼ばれ、マスクベースのレンズレスカメラから高品質なフォトリアリスティック画像を再構成するための枠組みを作り上げています。
フラットネットは,(1)前方モデルの定式化における学習パラメータによる中間再構成の空間に計測をマッピングする反転段階と,(2)この中間再構成の知覚的品質を改善する知覚的拡張段階とからなる。
これらの段階はエンドツーエンドで一緒に訓練される。
2種類のレンズレスプロトタイプ(分離可能な前方モデルと、より一般的な分離不能なクロッピング畳み込みモデル)を用いて、実物および挑戦的なシーンを広範囲に実験することにより、高品質な再構成を示す。
私たちのエンドツーエンドのアプローチは高速で、フォトリアリスティックな再構築を実現し、他のマスクベースのレンズレスカメラにも容易に適用できます。
関連論文リスト
- GANESH: Generalizable NeRF for Lensless Imaging [12.985055542373791]
GANESHは,レンズレス画像からの高精細化と新鮮視合成を実現するための新しいフレームワークである。
シーン固有のトレーニングを必要とする既存の方法とは異なり、本手法は各シーンで再トレーニングすることなく、オンザフライ推論をサポートする。
この領域の研究を容易にするために、最初のマルチビューレンズレスデータセットであるLenslessScenesも提示する。
論文 参考訳（メタデータ） (2024-11-07T15:47:07Z) - PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging [19.506766336040247]
レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。
現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。
我々は、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。
論文 参考訳（メタデータ） (2024-09-26T16:07:24Z) - DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model [31.43307762723943]
フラットなレンズレスカメラのデザインは、カメラのサイズと重量を大幅に減らします。
画像は、再構成アルゴリズムを用いて生センサ計測から回収される。
本稿では,事前学習した拡散モデルと制御ネットワークと学習可能な分離変換を併用して再構成する手法を提案する。
論文 参考訳（メタデータ） (2024-08-14T13:20:52Z) - Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
モバイル写真の人気は増え続けている。
最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。
光学収差による劣化を回復するための実用的手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T03:20:39Z) - Neural Lens Modeling [50.57409162437732]
NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。
古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。
このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
論文 参考訳（メタデータ） (2023-04-10T20:09:17Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z) - Unrolled Primal-Dual Networks for Lensless Cameras [0.45880283710344055]
教師付き原始二重再構成法を学習することで,文献における画像品質の整合性が得られることを示す。
この改善は、学習可能な前方モデルと随伴モデルとを学習された原始双対最適化フレームワークに組み込むことで、再構成画像の品質を向上できるという発見に起因している。
論文 参考訳（メタデータ） (2022-03-08T19:21:39Z) - Towards Non-Line-of-Sight Photography [48.491977359971855]
非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。
アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。
我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
論文 参考訳（メタデータ） (2021-09-16T08:07:13Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳（メタデータ） (2021-04-07T12:00:38Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳（メタデータ） (2021-03-29T08:58:10Z) - Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure
Reconstruction from an RGB Video [90.93141123721713]
ワイヤーフレーム彫刻、フェンス、ケーブル、電力線、木の枝などの細い構造は現実世界では一般的である。
従来の画像ベースや深度ベースの再構築手法を用いて3Dデジタルモデルを入手することは極めて困難である。
ハンドヘルドカメラで撮影したカラービデオから,カメラの動きを同時に推定し,複雑な3次元薄膜構造の形状を高品質に再構成する手法を提案する。
論文 参考訳（メタデータ） (2020-05-07T10:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。