論文の概要: Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses

• arxiv url: http://arxiv.org/abs/2102.07085v3
• Date: Sun, 18 Jun 2023 03:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 08:30:20.554001
• Title: Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses
• Title（参考訳）: ハイブリッドレンズの深部適応融合による光電界再構成
• Authors: Jing Jin and Mantang Guo and Junhui Hou and Hui Liu and Hongkai Xiong
• Abstract要約: 本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
• 参考スコア（独自算出の注目度）: 67.01164492518481
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.
• Abstract（参考訳）: 本稿では,複数の低解像度カメラを取り囲む高分解能カメラを含むハイブリッドレンズからの高分解能光電界(lf)像の再構成の問題について検討する。 既存手法の性能は, 平坦なテクスチャ領域のぼやけた結果や, 不連続境界付近の歪みなど, 依然として限られている。 この課題に対処するために,2つの相補的および並列的な視点から入力の特徴を包括的に活用する,エンドツーエンドの学習ベースアプローチを提案する。 具体的には、深い多次元およびクロスドメインの特徴表現を学習することにより、空間的に一貫した中間推定を回帰し、他方のモジュールは、高分解能ビューの情報を伝播することにより、高周波数テクスチャを維持する別の中間推定をワープする。 最後に,2つの中間推定の利点を学習アテンションマップを通して適応的に活用し,平滑なテクスチャ領域と深さの不連続境界の両方において,最終的な高分解能のlf画像を得る。 さらに,ハイブリッドLFイメージングシステムによって得られた実ハイブリッドデータに対して,シミュレーションハイブリッドデータを用いてトレーニングした手法の有効性を向上するために,ネットワークアーキテクチャとトレーニング戦略を慎重に設計する。 実データとシミュレーションデータの両方について広範な実験を行った結果,最先端データよりも優れたアプローチが得られた。 我々の知る限りでは、これは真のハイブリッド入力からのLF再構成のための最初のエンドツーエンドのディープラーニング手法である。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性があると考えています。

関連論文リスト

• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
  デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。 提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。 実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-03T07:17:31Z)
• Scale-Consistent Fusion: from Heterogeneous Local Sampling to Global Immersive Rendering [9.893045525907219]
  画像に基づく幾何モデリングと、スパースに基づく新しいビュー合成は、バーチャルリアリティや没入型テレプレゼンスのような新興マルチメディアアプリケーションにとって難しいが重要な課題である。 LFカメラの普及により、LF画像(LFI)の撮影は通常の写真撮影と同じくらい便利になり、幾何情報も確実に推測できる。 本稿では,大域的幾何融合のための異なるキャプチャ間の分散確率ボリューム(DPV)を頑健に整合させる,新しいスケール一貫性ボリューム再スケーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-17T14:27:08Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。