Fugu-MT 論文翻訳(概要): Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging

論文の概要: Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging

arxiv url: http://arxiv.org/abs/2407.06727v1
Date: Tue, 9 Jul 2024 10:07:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 18:26:46.483178
Title: Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging
Title（参考訳）: 物理インフォームドサイクル型マルチPSFレンズレスイメージングに向けて
Authors: Abeer Banerjee, Sanjay Singh,
Abstract要約: 二重判別器巡回対角線を用いたマルチPSFレンズレスイメージングの新しい手法を提案する。本稿では,学習ループに統合されたフォワードモデルと相まって,スパース畳み込み型PSF対応補助分岐を持つ独自のジェネレータアーキテクチャを提案する。提案手法は,既存のPSFに依存しない単一PSF症例に匹敵する性能を達成し,再トレーニングを必要とせずにPSF変化に対するレジリエンスを示す。
参考スコア（独自算出の注目度）: 0.5371337604556311
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Lensless imaging has emerged as a promising field within inverse imaging, offering compact, cost-effective solutions with the potential to revolutionize the computational camera market. By circumventing traditional optical components like lenses and mirrors, novel approaches like mask-based lensless imaging eliminate the need for conventional hardware. However, advancements in lensless image reconstruction, particularly those leveraging Generative Adversarial Networks (GANs), are hindered by the reliance on data-driven training processes, resulting in network specificity to the Point Spread Function (PSF) of the imaging system. This necessitates a complete retraining for minor PSF changes, limiting adaptability and generalizability across diverse imaging scenarios. In this paper, we introduce a novel approach to multi-PSF lensless imaging, employing a dual discriminator cyclic adversarial framework. We propose a unique generator architecture with a sparse convolutional PSF-aware auxiliary branch, coupled with a forward model integrated into the training loop to facilitate physics-informed learning to handle the substantial domain gap between lensless and lensed images. Comprehensive performance evaluation and ablation studies underscore the effectiveness of our model, offering robust and adaptable lensless image reconstruction capabilities. Our method achieves comparable performance to existing PSF-agnostic generative methods for single PSF cases and demonstrates resilience to PSF changes without the need for retraining.
Abstract（参考訳）: レンズレスイメージングは、逆撮影において有望な分野として現れ、コンパクトで費用対効果の高いソリューションを提供し、計算カメラ市場に革命をもたらす可能性がある。レンズやミラーのような従来の光学部品を回避することによって、マスクベースのレンズレスイメージングのような新しいアプローチは、従来のハードウェアの必要性を排除している。しかし、特にGAN(Generative Adversarial Networks)を利用したレンズレス画像再構成の進歩は、データ駆動型トレーニングプロセスへの依存によって妨げられ、画像システムのポイントスプレッド機能(PSF)にネットワーク特異性をもたらす。これにより、小さなPSFの変更に対する完全な再トレーニングが必要となり、様々な画像シナリオに対する適応性と一般化性が制限される。本稿では,マルチPSFレンズレス画像への新たなアプローチを提案する。本研究では,レンズレス画像とレンズレス画像の領域ギャップを埋める物理インフォームドラーニングを容易にするために,差分畳み込みPSF対応補助ブランチとトレーニングループに統合されたフォワードモデルを組み合わせた独自のジェネレータアーキテクチャを提案する。総合的な性能評価とアブレーション研究は、堅牢で適応可能なレンズレス画像再構成機能を提供し、我々のモデルの有効性を裏付けるものである。提案手法は,既存のPSFに依存しない単一PSF症例に匹敵する性能を達成し,再トレーニングを必要とせずにPSF変化に対するレジリエンスを示す。

関連論文リスト

A Physics-Informed Blur Learning Framework for Imaging Systems [20.105957982007283]
本稿では,物理インフォームドPSF学習フレームワークを提案する。我々のフレームワークは高い精度と普遍的な適用性を達成することができる。提案手法は,シミュレーションにおける画質の向上を示すとともに,実写画像の目立った画質向上を示す。
論文参考訳（メタデータ） (2025-02-17T02:54:14Z)
Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction [7.368155086339779]
最先端のレンズレスイメージング技術は、物理モデリングとニューラルネットワークを組み合わせている。新たなマスクのレンズレス測定に対する学習手法の一般化は研究されていない。画像回復に先立って、重要なコンポーネントがプリプロセッサとなるモジュラー学習された再構成を用いる。
論文参考訳（メタデータ） (2025-02-03T06:46:39Z)
UniRestore: Unified Perceptual and Task-Oriented Image Restoration Model Using Diffusion Prior [56.35236964617809]
画像復元は、悪天候、ぼやけ、騒音などの様々な要因によって劣化した入力からコンテンツを回復することを目的としている。本稿では,PIRとTIRのギャップを埋める統一画像復元モデルUniRestoreを紹介する。本稿では,分解エンコーダの特徴を再構築するための補足的特徴回復モジュール (CFRM) と,デコーダの適応的特徴融合を容易にするタスク特徴適応モジュール (TFA) を提案する。
論文参考訳（メタデータ） (2025-01-22T08:06:48Z)
Towards Lensless Image Deblurring with Prior-Embedded Implicit Neural Representations in the Low-Data Regime [0.5371337604556311]
本稿では、従来のレンズを計算に置き換えた計算画像のサブセットである、レンズレス画像再構成について述べる。我々は、暗黙のニューラル表現をレンズレス画像の劣化に活用し、事前トレーニングを必要とせずに再構成を実現した最初の人物である。
論文参考訳（メタデータ） (2024-11-27T10:12:29Z)
Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
モバイル写真の人気は増え続けている。最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。光学収差による劣化を回復するための実用的手法を提案する。
論文参考訳（メタデータ） (2023-05-10T03:20:39Z)
Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
論文参考訳（メタデータ） (2023-02-23T06:16:15Z)
Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文参考訳（メタデータ） (2022-07-21T22:19:17Z)
Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文参考訳（メタデータ） (2021-04-07T12:00:38Z)
SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
論文参考訳（メタデータ） (2020-11-30T08:23:25Z)
Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。