論文の概要: A Flexible Framework for Universal Computational Aberration Correction via Automatic Lens Library Generation and Domain Adaptation

• arxiv url: http://arxiv.org/abs/2409.05809v1
• Date: Mon, 9 Sep 2024 17:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 13:46:22.164410
• Title: A Flexible Framework for Universal Computational Aberration Correction via Automatic Lens Library Generation and Domain Adaptation
• Title（参考訳）: 自動レンズライブラリ生成とドメイン適応による普遍計算収差補正のためのフレキシブルフレームワーク
• Authors: Qi Jiang, Yao Gao, Shaohua Gao, Zhonghua Yi, Lei Sun, Hao Shi, Kailun Yang, Kaiwei Wang, Jian Bai,
• Abstract要約: 我々は、一般化能力と柔軟性の両方を考慮して、普遍的なCACのためのOmniLensフレームワークを構築した。 我々はOmniLensを、様々な構造と収差挙動を持つ4つのローエンドレンズに対して検証した。 注目すべきは、AODLibでトレーニングされたベースモデルは強力な一般化能力を示し、ゼロショット設定でレンズ固有のパフォーマンスの97%を達成していることだ。
• 参考スコア（独自算出の注目度）: 18.18256641740274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging universal Computational Aberration Correction (CAC) paradigms provide an inspiring solution to light-weight and high-quality imaging without repeated data preparation and model training to accommodate new lens designs. However, the training databases in these approaches, i.e., the lens libraries (LensLibs), suffer from their limited coverage of real-world aberration behaviors. In this work, we set up an OmniLens framework for universal CAC, considering both the generalization ability and flexibility. OmniLens extends the idea of universal CAC to a broader concept, where a base model is trained for three cases, including zero-shot CAC with the pre-trained model, few-shot CAC with a little lens-specific data for fine-tuning, and domain adaptive CAC using domain adaptation for lens-descriptions-unknown lens. In terms of OmniLens's data foundation, we first propose an Evolution-based Automatic Optical Design (EAOD) pipeline to construct LensLib automatically, coined AODLib, whose diversity is enriched by an evolution framework, with comprehensive constraints and a hybrid optimization strategy for achieving realistic aberration behaviors. For network design, we introduce the guidance of high-quality codebook priors to facilitate zero-shot CAC and few-shot CAC, which enhances the model's generalization ability, while also boosting its convergence in a few-shot case. Furthermore, based on the statistical observation of dark channel priors in optical degradation, we design an unsupervised regularization term to adapt the base model to the target descriptions-unknown lens using its aberration images without ground truth. We validate OmniLens on 4 manually designed low-end lenses with various structures and aberration behaviors. Remarkably, the base model trained on AODLib exhibits strong generalization capabilities, achieving 97% of the lens-specific performance in a zero-shot setting.
• Abstract（参考訳）: CAC(Universal Computational Aberration Correction)パラダイムは、新しいレンズ設計に対応するために、反復的なデータ準備とモデルトレーニングを伴わずに、軽量で高品質なイメージングに刺激的なソリューションを提供する。 しかし、これらのアプローチにおけるトレーニングデータベース、すなわちレンズライブラリ(LensLibs)は、現実世界の収差挙動を限定的にカバーしている。 本研究では,一般化能力と柔軟性の両方を考慮して,汎用CACのためのOmniLensフレームワークを構築した。 OmniLens はユニバーサル CAC の概念をより広範な概念に拡張し、ベースモデルは事前訓練されたモデルによるゼロショット CAC、微調整用の小さなレンズ固有のデータによる少数ショット CAC、レンズ記述不明のレンズに対するドメイン適応 CAC を含む3つのケースで訓練される。 OmniLensのデータ基盤に関して、我々はまず、LensLibを自動構築する進化ベースの自動光学設計(EAOD)パイプラインを提案します。 ネットワーク設計において,ゼロショットCACと少数ショットCACを促進するために,高品質なコードブックのガイダンスを導入する。 さらに,光劣化における暗チャネル先行の統計的観測に基づいて,基底モデルと対象記述未知のレンズの収差画像との整合性を考慮した教師なし正則化項を設計する。 我々はOmniLensを、様々な構造と収差挙動を持つ4つのローエンドレンズに対して検証した。 注目すべきは、AODLibでトレーニングされたベースモデルは強力な一般化能力を示し、ゼロショット設定でレンズ固有のパフォーマンスの97%を達成していることだ。

関連論文リスト

• Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality [69.76121008898677]
  きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。 評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T17:16:20Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Selective classification using a robust meta-learning approach [28.460912135533988]
  本稿では,補助ネットワークを用いて予測不確実性を捉えるインスタンス条件の再重み付け手法を提案する。 制御された実験において、このメタオブジェクトを通して様々な不確実性の概念を効果的に捉えていることを示す。 糖尿病網膜症では、最大3.4%/3.3%の精度でSOTAを上回り、選択的分類ではAUCが上昇する。
  論文  参考訳（メタデータ） (2022-12-12T15:45:23Z)
• Self-Aligned Concave Curve: Illumination Enhancement for Unsupervised Adaptation [36.050270650417325]
  ハイレベルビジョンのための学習可能な照明強調モデルを提案する。 実際のカメラ応答関数にインスパイアされた照明強調関数は凹凸曲線であると仮定する。 我々のモデルアーキテクチャとトレーニングデザインは相互に恩恵を受け、強力な教師なし正規-低照度適応フレームワークを形成する。
  論文  参考訳（メタデータ） (2022-10-07T19:32:55Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks [6.585049648605185]
  自己監督型自動学習(SSAL)モデルの概念を紹介します。 SSALの目的は、元の教師付き分類タスクから派生した1つ以上の追加目標によって実現される。 SSALモデルは、より解釈しやすい構造化された予測を提供しながら、常に最先端を上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:41:16Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。