論文の概要: DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model

• arxiv url: http://arxiv.org/abs/2408.07541v1
• Date: Wed, 14 Aug 2024 13:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:14:29.187577
• Title: DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model
• Title（参考訳）: DifuzCam: マスクと拡散モデルでカメラレンズをリプレース
• Authors: Erez Yosef, Raja Giryes,
• Abstract要約: フラットなレンズレスカメラのデザインは、カメラのサイズと重量を大幅に減らします。 画像は、再構成アルゴリズムを用いて生センサ計測から回収される。 本稿では,事前学習した拡散モデルと制御ネットワークと学習可能な分離変換を併用して再構成する手法を提案する。
• 参考スコア（独自算出の注目度）: 31.43307762723943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The flat lensless camera design reduces the camera size and weight significantly. In this design, the camera lens is replaced by another optical element that interferes with the incoming light. The image is recovered from the raw sensor measurements using a reconstruction algorithm. Yet, the quality of the reconstructed images is not satisfactory. To mitigate this, we propose utilizing a pre-trained diffusion model with a control network and a learned separable transformation for reconstruction. This allows us to build a prototype flat camera with high-quality imaging, presenting state-of-the-art results in both terms of quality and perceptuality. We demonstrate its ability to leverage also textual descriptions of the captured scene to further enhance reconstruction. Our reconstruction method which leverages the strong capabilities of a pre-trained diffusion model can be used in other imaging systems for improved reconstruction results.
• Abstract（参考訳）: フラットなレンズレスカメラのデザインは、カメラのサイズと重量を大幅に減らします。 この設計では、カメラレンズは、受信した光を干渉する別の光学素子に置き換えられる。 画像は、再構成アルゴリズムを用いて生センサ計測から回収される。 しかし、再建された画像の品質は満足できない。 これを軽減するために,制御ネットワークを用いた事前学習拡散モデルと,再構成のための学習可分変換を提案する。 これにより、高品質な撮像機能を備えたフラットカメラのプロトタイプを作成でき、品質と知覚の両面で最先端の結果が提示される。 撮影シーンのテキスト記述も活用し,再現性の向上を図っている。 本手法は,他のイメージングシステムにおいて,事前学習した拡散モデルの強機能を活用することで,再構成結果の改善を図ることができる。

関連論文リスト

• PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging [19.506766336040247]
  レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。 現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。 我々は、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-26T16:07:24Z)
• iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views [61.707755434165335]
  iFusionは、未知のカメラポーズを持つ2つのビューのみを必要とする、新しい3Dオブジェクト再構成フレームワークである。 我々は,様々な物体の形状や外観に関する暗黙の知識を組み込んだ,事前学習されたビュー合成拡散モデルを利用する。 ポーズ推定と新しいビュー合成の両方において、実験は強い性能を示す。
  論文  参考訳（メタデータ） (2023-12-28T18:59:57Z)
• Reconstruction Distortion of Learned Image Compression with Imperceptible Perturbations [69.25683256447044]
  本稿では,学習画像圧縮(lic)の再構成品質を効果的に劣化させる攻撃手法を提案する。 我々は,Frobeniusノルムに基づく損失関数を導入して,元の画像と再構成された逆例との差を最大化することによって,逆例を生成する。 様々なlicモデルを用いてKodakデータセット上で実験を行った結果,有効性が確認された。
  論文  参考訳（メタデータ） (2023-06-01T20:21:05Z)
• Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
  モバイル写真の人気は増え続けている。 最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。 光学収差による劣化を回復するための実用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:20:39Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Unrolled Primal-Dual Networks for Lensless Cameras [0.45880283710344055]
  教師付き原始二重再構成法を学習することで,文献における画像品質の整合性が得られることを示す。 この改善は、学習可能な前方モデルと随伴モデルとを学習された原始双対最適化フレームワークに組み込むことで、再構成画像の品質を向上できるという発見に起因している。
  論文  参考訳（メタデータ） (2022-03-08T19:21:39Z)
• Coded Illumination for Improved Lensless Imaging [22.992552346745523]
  我々は,レンズレスカメラで再構成した画像の品質向上のために,符号化照明を用いることを提案する。 画像モデルでは、レンズレスカメラがセンサを計測する際、シーン/オブジェクトは複数の符号化照明パターンで照らされる。 本稿では,システムの分離性とブロック対角構造を利用した高速かつ低複雑さな回復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-25T01:22:40Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements [31.353395064815892]
  レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。 われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
  論文  参考訳（メタデータ） (2020-10-29T09:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。