論文の概要: PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging

• arxiv url: http://arxiv.org/abs/2409.17996v1
• Date: Thu, 26 Sep 2024 16:07:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:26:02.138402
• Title: PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging
• Title（参考訳）: PhoCoLens:レンズレスのフォトリアリスティックで一貫性のある再構築 イメージング
• Authors: Xin Cai, Zhiyuan You, Hailong Zhang, Wentao Liu, Jinwei Gu, Tianfan Xue
• Abstract要約: レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。 現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。 我々は、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。
• 参考スコア（独自算出の注目度）: 20.66967823246432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lensless cameras offer significant advantages in size, weight, and cost compared to traditional lens-based systems. Without a focusing lens, lensless cameras rely on computational algorithms to recover the scenes from multiplexed measurements. However, current algorithms struggle with inaccurate forward imaging models and insufficient priors to reconstruct high-quality images. To overcome these limitations, we introduce a novel two-stage approach for consistent and photorealistic lensless image reconstruction. The first stage of our approach ensures data consistency by focusing on accurately reconstructing the low-frequency content with a spatially varying deconvolution method that adjusts to changes in the Point Spread Function (PSF) across the camera's field of view. The second stage enhances photorealism by incorporating a generative prior from pre-trained diffusion models. By conditioning on the low-frequency content retrieved in the first stage, the diffusion model effectively reconstructs the high-frequency details that are typically lost in the lensless imaging process, while also maintaining image fidelity. Our method achieves a superior balance between data fidelity and visual quality compared to existing methods, as demonstrated with two popular lensless systems, PhlatCam and DiffuserCam. Project website: https://phocolens.github.io/.
• Abstract（参考訳）: レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。 フォーカスレンズがなければ、レンズレスカメラは多重測定からシーンを復元するために計算アルゴリズムに依存している。 しかし、現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。 これらの制約を克服するために、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。 提案手法の第一段階は、カメラの視野を越えたポイントスプレッド関数(PSF)の変化に合わせて空間的に変化するデコンボリューション法を用いて、低周波コンテンツを正確に再構成することに焦点を当て、データの整合性を保証する。 第2段階は、事前訓練された拡散モデルから生成前のモデルを組み込むことにより、光現実性を高める。 第1段階で得られた低周波コンテンツを条件付けすることにより、拡散モデルは、レンズレス撮像プロセスで通常失われる高周波の詳細を効果的に再構成し、画像の忠実性も維持する。 提案手法は,PhlatCamとDiffuserCamの2種類のレンズレスシステムで実証されているように,既存の手法と比較して,データの忠実度と視覚的品質のバランスが良好である。 プロジェクトウェブサイト:https://phocolens.github.io/.com

関連論文リスト

• GANESH: Generalizable NeRF for Lensless Imaging [12.985055542373791]
  GANESHは,レンズレス画像からの高精細化と新鮮視合成を実現するための新しいフレームワークである。 シーン固有のトレーニングを必要とする既存の方法とは異なり、本手法は各シーンで再トレーニングすることなく、オンザフライ推論をサポートする。 この領域の研究を容易にするために、最初のマルチビューレンズレスデータセットであるLenslessScenesも提示する。
  論文  参考訳（メタデータ） (2024-11-07T15:47:07Z)
• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
  モバイル写真の人気は増え続けている。 最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。 光学収差による劣化を回復するための実用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:20:39Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• Unrolled Primal-Dual Networks for Lensless Cameras [0.45880283710344055]
  教師付き原始二重再構成法を学習することで,文献における画像品質の整合性が得られることを示す。 この改善は、学習可能な前方モデルと随伴モデルとを学習された原始双対最適化フレームワークに組み込むことで、再構成画像の品質を向上できるという発見に起因している。
  論文  参考訳（メタデータ） (2022-03-08T19:21:39Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements [31.353395064815892]
  レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。 われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
  論文  参考訳（メタデータ） (2020-10-29T09:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。