論文の概要: OmniLens++: Blind Lens Aberration Correction via Large LensLib Pre-Training and Latent PSF Representation
- arxiv url: http://arxiv.org/abs/2511.17126v3
- Date: Tue, 25 Nov 2025 11:06:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 15:01:35.357734
- Title: OmniLens++: Blind Lens Aberration Correction via Large LensLib Pre-Training and Latent PSF Representation
- Title(参考訳): OmniLens++:Blind Lens Aberration Correction by Large LensLib Pre-Training and Latent PSF Representation
- Authors: Qi Jiang, Xiaolong Qian, Yao Gao, Lei Sun, Kailun Yang, Zhonghua Yi, Wenyong Li, Ming-Hsuan Yang, Luc Van Gool, Kaiwei Wang,
- Abstract要約: この研究は、既存のパイプラインの一般化能力を妨げる2つの課題を解決するOmniLens++フレームワークを提案する。
実世界のレンズと合成レンズリブの様々な収差実験により、OmniLens++はブラインド収差補正において最先端の一般化能力を示すことが示された。
- 参考スコア(独自算出の注目度): 72.72583225885636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging deep-learning-based lens library pre-training (LensLib-PT) pipeline offers a new avenue for blind lens aberration correction by training a universal neural network, demonstrating strong capability in handling diverse unknown optical degradations. This work proposes the OmniLens++ framework, which resolves two challenges that hinder the generalization ability of existing pipelines: the difficulty of scaling data and the absence of prior guidance characterizing optical degradation. To improve data scalability, we expand the design specifications to increase the degradation diversity of the lens source, and we sample a more uniform distribution by quantifying the spatial-variation patterns and severity of optical degradation. In terms of model design, to leverage the Point Spread Functions (PSFs), which intuitively describe optical degradation, as guidance in a blind paradigm, we propose the Latent PSF Representation (LPR). The VQVAE framework is introduced to learn latent features of LensLib's PSFs, which is assisted by modeling the optical degradation process to constrain the learning of degradation priors. Experiments on diverse aberrations of real-world lenses and synthetic LensLib show that OmniLens++ exhibits state-of-the-art generalization capacity in blind aberration correction. Beyond performance, the AODLibpro is verified as a scalable foundation for more effective training across diverse aberrations, and LPR can further tap the potential of large-scale LensLib. The source code and datasets will be made publicly available at https://github.com/zju-jiangqi/OmniLens2.
- Abstract(参考訳): 新たなディープラーニングベースのレンズライブラリ事前トレーニング(LensLib-PT)パイプラインは、ユニバーサルニューラルネットワークをトレーニングすることで、盲眼レンズ収差補正のための新たな手段を提供する。
このフレームワークは、既存のパイプラインの一般化能力を妨げる2つの課題、すなわち、データのスケーリングの困難さと、光学劣化を特徴付ける事前ガイダンスの欠如を解決している。
データスケーラビリティを向上させるため、レンズソースの劣化の多様性を高めるために設計仕様を拡張し、空間変動パターンと光学劣化の重大度を定量化することにより、より均一な分布をサンプリングする。
モデル設計においては、光学劣化を直感的に記述するポイントスプレッド関数(PSF)をブラインドパラダイムのガイダンスとして活用するため、LPR(Latent PSF Representation)を提案する。
VQVAEフレームワークはLensLibのPSFの潜在的特徴を学習するために導入された。
実世界のレンズと合成レンズリブの様々な収差実験により、OmniLens++はブラインド収差補正において最先端の一般化能力を示すことが示された。
パフォーマンス以外にも、AODLibproは多様な収差をまたいだより効果的なトレーニングのためのスケーラブルな基盤として検証されており、LPRは大規模LensLibの可能性をさらに活用することができる。
ソースコードとデータセットはhttps://github.com/zju-jiangqi/OmniLens2.comで公開されている。
関連論文リスト
- LensNet: An End-to-End Learning Framework for Empirical Point Spread Function Modeling and Lensless Imaging Reconstruction [32.85180149439811]
レンズレスイメージングは、従来のレンズベースのシステムに代わる有望な選択肢である。
従来のレンズレス技術は、しばしば明示的な校正と広範な前処理を必要とする。
本研究では,空間領域と周波数領域の表現を統合したエンドツーエンドのディープラーニングフレームワークであるLensNetを提案する。
論文 参考訳(メタデータ) (2025-05-03T09:11:52Z) - Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
非視線画像(NLOS)は、その潜在的な応用により注目されている。
既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。
本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
論文 参考訳(メタデータ) (2024-09-21T04:39:45Z) - OmniLens: Towards Universal Lens Aberration Correction via LensLib-to-Specific Domain Adaptation [28.785118157930167]
オムニレンス(OmniLens)は、(i)堅牢なベースモデルを事前訓練するための包括的カバレッジを持つ説得力のあるLensLibを確立し、(ii)高速なLensLib-to-specificドメイン適応を介して、未知のレンズ記述を持つ特定のレンズ設計にモデルを適応させる。
EAODによって生成されたLensLibは、強力な一般化能力を持つ普遍的なCACモデルを効果的に開発し、PSNRにおいて0.35-1.81dBの非盲点レンズ固有法を改善できることを示した。
論文 参考訳(メタデータ) (2024-09-09T17:12:42Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-31T04:58:17Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Mobile Image Restoration via Prior Quantization [15.577548135102404]
本稿では,画像処理システムにおける光収差補正のための事前量子化モデルを提案する。
本モデルでは, 各種前兆と装置の光収差の相関関係を解析することを約束する。
論文 参考訳(メタデータ) (2023-05-10T05:05:58Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳(メタデータ) (2021-04-07T12:00:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。