論文の概要: Light Field Reconstruction via Attention-Guided Deep Fusion of Hybrid Lenses

• arxiv url: http://arxiv.org/abs/2102.07085v1
• Date: Sun, 14 Feb 2021 06:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:26:37.382397
• Title: Light Field Reconstruction via Attention-Guided Deep Fusion of Hybrid Lenses
• Title（参考訳）: ハイブリッドレンズの注意誘導深部融合による光電界再構成
• Authors: Jing Jin and Hui Liu and Junhui Hou and Hongkai Xiong
• Abstract要約: 本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 入力の特定の特性を総合的に活用できる,新しいエンドツーエンド学習手法を提案する。 当社のフレームワークは、高解像度LFデータ取得のコストを削減し、LFデータストレージと伝送に利益をもたらす可能性があります。
• 参考スコア（独自算出の注目度）: 63.05192055613281
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.
• Abstract（参考訳）: 本稿では,複数の低解像度カメラを取り囲む高分解能カメラを含むハイブリッドレンズからの高分解能光電界(lf)像の再構成の問題について検討する。 既存手法の性能は, 平坦なテクスチャ領域のぼやけた結果や, 深さの不連続境界付近の歪みなど, 依然として限られている。 そこで本研究では,2つの相補的および並列的な視点から,入力の特異な特性を総合的に活用できる,新しいエンドツーエンド学習手法を提案する。 具体的には、深い多次元およびクロスドメインの特徴表現を学習することにより、空間的に一貫した中間推定を回帰し、他方のモジュールは、高分解能ビューの情報を伝播することにより、高周波数テクスチャを維持する別の中間推定をワープする。 最後に,2つの中間推定の利点を学習アテンションマップを通して適応的に活用し,平滑なテクスチャ領域と深さの不連続境界の両方において,最終的な高分解能のlf画像を得る。 さらに,ハイブリッドLFイメージングシステムによって得られた実ハイブリッドデータに対して,シミュレーションハイブリッドデータを用いてトレーニングした手法の有効性を向上するために,ネットワークアーキテクチャとトレーニング戦略を慎重に設計する。 実データとシミュレーションデータの両方について広範な実験を行った結果,最先端データよりも優れたアプローチが得られた。 我々の知る限りでは、これは真のハイブリッド入力からのLF再構成のための最初のエンドツーエンドのディープラーニング手法である。 当社のフレームワークは、高解像度LFデータ取得のコストを削減し、LFデータストレージと伝送に利益をもたらす可能性があると考えています。

関連論文リスト

• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
  本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。 このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
  論文  参考訳（メタデータ） (2022-09-30T11:15:03Z)
• Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
  実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。 深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。 本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T13:28:15Z)
• Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
  デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。 提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。 実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-03T07:17:31Z)
• Scale-Consistent Fusion: from Heterogeneous Local Sampling to Global Immersive Rendering [9.893045525907219]
  画像に基づく幾何モデリングと、スパースに基づく新しいビュー合成は、バーチャルリアリティや没入型テレプレゼンスのような新興マルチメディアアプリケーションにとって難しいが重要な課題である。 LFカメラの普及により、LF画像(LFI)の撮影は通常の写真撮影と同じくらい便利になり、幾何情報も確実に推測できる。 本稿では,大域的幾何融合のための異なるキャプチャ間の分散確率ボリューム(DPV)を頑健に整合させる,新しいスケール一貫性ボリューム再スケーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-17T14:27:08Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。