論文の概要: Towards Single-Lens Controllable Depth-of-Field Imaging via All-in-Focus Aberration Correction and Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2409.09754v1
• Date: Sun, 15 Sep 2024 14:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:30:42.010756
• Title: Towards Single-Lens Controllable Depth-of-Field Imaging via All-in-Focus Aberration Correction and Monocular Depth Estimation
• Title（参考訳）: All-in-Focus収差補正と単眼深度推定による単焦点可変深度イメージングに向けて
• Authors: Xiaolong Qian, Qi Jiang, Yao Gao, Shaohua Gao, Zhonghua Yi, Lei Sun, Kai Wei, Haifeng Li, Kailun Yang, Kaiwei Wang, Jian Bai,
• Abstract要約: コントロール可能なDepth-of-Field(DoF)イメージングは、重くて高価なハイエンドレンズをベースとした素晴らしい視覚効果を一般的に生み出す。 この研究は、MOS(Minimalist Optical Systems)の2つの大きな限界に焦点を合わせ、計算方法でシングルレンズ制御可能なDoFイメージングを実現する。 All-in-Focus (AiF) 収差補正と単眼深度推定を併用したDepth-aware Controllable DoF Imaging (DCDI) フレームワークを提案する。 Omni-Lens-Fieldにより推定される深度マップ、復元画像、深度対応PSFマップにより、シングルレンズ制御可能なDoFイメージングが可能となる。
• 参考スコア（独自算出の注目度）: 19.312034704019634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable Depth-of-Field (DoF) imaging commonly produces amazing visual effects based on heavy and expensive high-end lenses. However, confronted with the increasing demand for mobile scenarios, it is desirable to achieve a lightweight solution with Minimalist Optical Systems (MOS). This work centers around two major limitations of MOS, i.e., the severe optical aberrations and uncontrollable DoF, for achieving single-lens controllable DoF imaging via computational methods. A Depth-aware Controllable DoF Imaging (DCDI) framework is proposed equipped with All-in-Focus (AiF) aberration correction and monocular depth estimation, where the recovered image and corresponding depth map are utilized to produce imaging results under diverse DoFs of any high-end lens via patch-wise convolution. To address the depth-varying optical degradation, we introduce a Depth-aware Degradation-adaptive Training (DA2T) scheme. At the dataset level, a Depth-aware Aberration MOS (DAMOS) dataset is established based on the simulation of Point Spread Functions (PSFs) under different object distances. Additionally, we design two plug-and-play depth-aware mechanisms to embed depth information into the aberration image recovery for better tackling depth-aware degradation. Furthermore, we propose a storage-efficient Omni-Lens-Field model to represent the 4D PSF library of various lenses. With the predicted depth map, recovered image, and depth-aware PSF map inferred by Omni-Lens-Field, single-lens controllable DoF imaging is achieved. Comprehensive experimental results demonstrate that the proposed framework enhances the recovery performance, and attains impressive single-lens controllable DoF imaging results, providing a seminal baseline for this field. The source code and the established dataset will be publicly available at https://github.com/XiaolongQian/DCDI.
• Abstract（参考訳）: コントロール可能なDepth-of-Field(DoF)イメージングは、重くて高価なハイエンドレンズをベースとした素晴らしい視覚効果を一般的に生み出す。 しかし,モバイルシナリオの需要が増大する中で,Minimalist Optical Systems (MOS) による軽量ソリューションの実現が望ましい。 この研究は、MOSの2つの大きな限界、すなわち重度の光学収差と制御不能なDoFを中心とし、計算方法で単レンズ制御可能なDoFイメージングを実現する。 AiF(All-in-Focus)収差補正と単眼深度推定を併用したDepth-aware Controllable DoF Imaging (DCDI) フレームワークを提案する。 深度変化による光学劣化に対処するため,奥行き認識型劣化適応トレーニング(DA2T)方式を導入する。 データセットレベルでは、異なるオブジェクト距離下でのポイントスプレッド関数(PSF)のシミュレーションに基づいて、DAMOS(Depth-aware Aberration MOS)データセットを確立する。 さらに、2つのプラグアンドプレイ深度認識機構を設計し、深度情報を収差画像復元に埋め込むことにより、深度認識の劣化に対処する。 さらに,各種レンズの4次元PSFライブラリを表現するため,ストレージ効率の良いOmni-Lens-Fieldモデルを提案する。 Omni-Lens-Fieldにより推定された深度マップ、復元された画像、深度対応のPSFマップにより、シングルレンズ制御可能なDoFイメージングを実現する。 総合的な実験結果から,提案手法により回復性能が向上し,単レンズ制御可能なDoF撮像結果が得られた。 ソースコードと確立されたデータセットはhttps://github.com/XiaolongQian/DCDIで公開されている。

関連論文リスト

• Enhancing Underwater Imaging with 4-D Light Fields: Dataset and Method [77.80712860663886]
  4次元光場(LF)は、光吸収、散乱、その他の課題に悩まされる水中イメージングを強化する。 水中4次元LF画像強調と深度推定のためのプログレッシブフレームワークを提案する。 学習手法の定量的評価と教師あり訓練のための,最初の4次元LFに基づく水中画像データセットを構築した。
  論文  参考訳（メタデータ） (2024-08-30T15:06:45Z)
• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Fully Self-Supervised Depth Estimation from Defocus Clue [79.63579768496159]
  スパース焦点スタックから深度を純粋に推定する自己教師型フレームワークを提案する。 筆者らのフレームワークは,深度とAIF画像の接地構造の必要性を回避し,より優れた予測を得られることを示す。
  論文  参考訳（メタデータ） (2023-03-19T19:59:48Z)
• Weakly-Supervised Optical Flow Estimation for Time-of-Flight [11.496094830445054]
  再構成深度に直接光フローネットワークを監視できるトレーニングアルゴリズムを提案する。 本手法により,iToF深度画像における生のiToF測定値の整列と運動成果物の補償を可能にする。
  論文  参考訳（メタデータ） (2022-10-11T09:47:23Z)
• End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
  回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
  論文  参考訳（メタデータ） (2022-04-14T16:14:37Z)
• Adaptive Weighted Guided Image Filtering for Depth Enhancement in Shape-From-Focus [28.82811159799952]
  フォーカスからの形状(SFF)技術は、多焦点画像のシーケンスから深度エッジや微細構造の詳細を保存できない。 適応重み付きガイド画像フィルタリング(AWGIF)に基づくSFFのための新しい深度強調アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-18T08:52:26Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• A learning-based view extrapolation method for axial super-resolution [52.748944517480155]
  軸光界分解能は、再焦点によって異なる深さで特徴を区別する能力を指します。 せん断エピポーラ平面画像の軸体積から新しい視点を推定する学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-03-11T07:22:13Z)
• Learning Wavefront Coding for Extended Depth of Field Imaging [4.199844472131922]
  拡張深度画像(EDoF)は難題である。 回折光学素子による波面符号化を応用したEDoFの計算画像化手法を提案する。 深部3Dシーンやブロードバンド画像など,さまざまなシナリオにおいて,最小限の成果が得られた。
  論文  参考訳（メタデータ） (2019-12-31T17:00:09Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。