論文の概要: Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging

• arxiv url: http://arxiv.org/abs/2407.06727v1
• Date: Tue, 9 Jul 2024 10:07:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 18:26:46.483178
• Title: Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging
• Title（参考訳）: 物理インフォームドサイクル型マルチPSFレンズレスイメージングに向けて
• Authors: Abeer Banerjee, Sanjay Singh,
• Abstract要約: 二重判別器巡回対角線を用いたマルチPSFレンズレスイメージングの新しい手法を提案する。 本稿では,学習ループに統合されたフォワードモデルと相まって,スパース畳み込み型PSF対応補助分岐を持つ独自のジェネレータアーキテクチャを提案する。 提案手法は,既存のPSFに依存しない単一PSF症例に匹敵する性能を達成し,再トレーニングを必要とせずにPSF変化に対するレジリエンスを示す。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lensless imaging has emerged as a promising field within inverse imaging, offering compact, cost-effective solutions with the potential to revolutionize the computational camera market. By circumventing traditional optical components like lenses and mirrors, novel approaches like mask-based lensless imaging eliminate the need for conventional hardware. However, advancements in lensless image reconstruction, particularly those leveraging Generative Adversarial Networks (GANs), are hindered by the reliance on data-driven training processes, resulting in network specificity to the Point Spread Function (PSF) of the imaging system. This necessitates a complete retraining for minor PSF changes, limiting adaptability and generalizability across diverse imaging scenarios. In this paper, we introduce a novel approach to multi-PSF lensless imaging, employing a dual discriminator cyclic adversarial framework. We propose a unique generator architecture with a sparse convolutional PSF-aware auxiliary branch, coupled with a forward model integrated into the training loop to facilitate physics-informed learning to handle the substantial domain gap between lensless and lensed images. Comprehensive performance evaluation and ablation studies underscore the effectiveness of our model, offering robust and adaptable lensless image reconstruction capabilities. Our method achieves comparable performance to existing PSF-agnostic generative methods for single PSF cases and demonstrates resilience to PSF changes without the need for retraining.
• Abstract（参考訳）: レンズレスイメージングは、逆撮影において有望な分野として現れ、コンパクトで費用対効果の高いソリューションを提供し、計算カメラ市場に革命をもたらす可能性がある。 レンズやミラーのような従来の光学部品を回避することによって、マスクベースのレンズレスイメージングのような新しいアプローチは、従来のハードウェアの必要性を排除している。 しかし、特にGAN(Generative Adversarial Networks)を利用したレンズレス画像再構成の進歩は、データ駆動型トレーニングプロセスへの依存によって妨げられ、画像システムのポイントスプレッド機能(PSF)にネットワーク特異性をもたらす。 これにより、小さなPSFの変更に対する完全な再トレーニングが必要となり、様々な画像シナリオに対する適応性と一般化性が制限される。 本稿では,マルチPSFレンズレス画像への新たなアプローチを提案する。 本研究では,レンズレス画像とレンズレス画像の領域ギャップを埋める物理インフォームドラーニングを容易にするために,差分畳み込みPSF対応補助ブランチとトレーニングループに統合されたフォワードモデルを組み合わせた独自のジェネレータアーキテクチャを提案する。 総合的な性能評価とアブレーション研究は、堅牢で適応可能なレンズレス画像再構成機能を提供し、我々のモデルの有効性を裏付けるものである。 提案手法は,既存のPSFに依存しない単一PSF症例に匹敵する性能を達成し,再トレーニングを必要とせずにPSF変化に対するレジリエンスを示す。

関連論文リスト

• PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging [19.506766336040247]
  レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。 現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。 我々は、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-26T16:07:24Z)
• Fiducial Focus Augmentation for Facial Landmark Detection [4.433764381081446]
  本稿では,モデルによる顔構造理解を高めるために,新しい画像強調手法を提案する。 我々は,Deep Canonical correlation Analysis (DCCA) に基づく損失を考慮した,シームズアーキテクチャに基づくトレーニング機構を採用している。 提案手法は,様々なベンチマークデータセットにおいて,最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-02-23T01:34:00Z)
• Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
  モバイル写真の人気は増え続けている。 最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。 光学収差による劣化を回復するための実用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:20:39Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)
• Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
  本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。 提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
  論文  参考訳（メタデータ） (2022-07-21T22:19:17Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements [31.353395064815892]
  レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。 われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
  論文  参考訳（メタデータ） (2020-10-29T09:20:22Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。