論文の概要: Texture-enhanced Light Field Super-resolution with Spatio-Angular Decomposition Kernels

• arxiv url: http://arxiv.org/abs/2111.04069v1
• Date: Sun, 7 Nov 2021 12:47:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 16:37:25.176492
• Title: Texture-enhanced Light Field Super-resolution with Spatio-Angular Decomposition Kernels
• Title（参考訳）: 時空間分解カーネルを用いたテクスチャー強化光場超解像
• Authors: Zexi Hu, Xiaoming Chen, Henry Wing Fung Yeung, Yuk Ying Chung, Zhibo Chen
• Abstract要約: 光電場超合成のための分解カーネルの概念を提案する。 特に,様々な部分空間の分解操作を,一連の分解カーネルに体系的に統一する。 提案したDKNetは、2x, 3x, 4x LFSRスケールで1.35dB, 0.83テクスチャ, 1.80dB PSNRの大幅な改善を実現するために実験的に検証されている。
• 参考スコア（独自算出の注目度）: 24.266548097679973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent progress in light field super-resolution (LFSR) achieved by convolutional neural networks, the correlation information of light field (LF) images has not been sufficiently studied and exploited due to the complexity of 4D LF data. To cope with such high-dimensional LF data, most of the existing LFSR methods resorted to decomposing it into lower dimensions and subsequently performing optimization on the decomposed sub-spaces. However, these methods are inherently limited as they neglected the characteristics of the decomposition operations and only utilized a limited set of LF sub-spaces ending up failing to comprehensively extract spatio-angular features and leading to a performance bottleneck. To overcome these limitations, in this paper, we thoroughly discover the potentials of LF decomposition and propose a novel concept of decomposition kernels. In particular, we systematically unify the decomposition operations of various sub-spaces into a series of such decomposition kernels, which are incorporated into our proposed Decomposition Kernel Network (DKNet) for comprehensive spatio-angular feature extraction. The proposed DKNet is experimentally verified to achieve substantial improvements by 1.35 dB, 0.83 dB, and 1.80 dB PSNR in 2x, 3x and 4x LFSR scales, respectively, when compared with the state-of-the-art methods. To further improve DKNet in producing more visually pleasing LFSR results, based on the VGG network, we propose a LFVGG loss to guide the Texture-Enhanced DKNet (TE-DKNet) to generate rich authentic textures and enhance LF images' visual quality significantly. We also propose an indirect evaluation metric by taking advantage of LF material recognition to objectively assess the perceptual enhancement brought by the LFVGG loss.
• Abstract（参考訳）: 畳み込みニューラルネットワークによって達成された光場超解像(LFSR)の最近の進歩にもかかわらず、光場(LF)画像の相関情報は4次元LFデータの複雑さのために十分に研究され、活用されていない。 このような高次元LFデータに対処するため、既存のLFSR法のほとんどは、それを低次元に分解し、その後、分解された部分空間上で最適化した。 しかし, これらの手法は, 分解操作の特性を無視し, 有限個のLF部分空間しか使用せず, 括弧的特徴の抽出に失敗し, 性能ボトルネックとなるため, 本質的に制限されている。 これらの限界を克服するため,本論文ではlf分解の可能性を徹底的に発見し,分解核の新しい概念を提案する。 特に,提案する分解核ネットワーク (dknet) に組み込まれた一連の分解核に対して,様々な部分空間の分解操作を体系的に統一し,包括的空間-三角形特徴抽出を行う。 提案したDKNetは,2x,3x,4xのLFSRスケールでそれぞれ1.35dB,0.83dB,1.80dBのPSNRを,最先端の手法と比較して大幅に改善することが実験的に検証された。 VGGネットワークに基づいて、より視覚的に満足なLFSR結果を生成する上で、DKNetをさらに改善するため、テキスタイル強化DKNet(TE-DKNet)をガイドするLFVGG損失を提案し、リッチなテクスチャを生成し、LF画像の視覚的品質を大幅に向上させる。 また,LFVGG損失による知覚増強を客観的に評価するために,LF材料認識を利用した間接評価指標を提案する。

関連論文リスト

• LFIC-DRASC: Deep Light Field Image Compression Using Disentangled Representation and Asymmetrical Strip Convolution [51.909036244222904]
  ディスタングル表現と非対称ストリップ畳み込みを用いたエンドツーエンドのディープLF画像圧縮法を提案する。 実験の結果,提案したLFIC-DRASCは平均20.5%のビットレート削減を達成した。
  論文  参考訳（メタデータ） (2024-09-18T05:33:42Z)
• Diffusion-based Light Field Synthesis [50.24624071354433]
  LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。 本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。 広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-01T13:13:16Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)
• High-Order Residual Network for Light Field Super-Resolution [39.93400777363467]
  可視光カメラは通常、異なる視点から情報を取得するために、SAIの空間分解能を犠牲にする。 そこで本稿では,光場から階層的に幾何学的特徴を学習するための新しい高次残差ネットワークを提案する。 提案手法は,挑戦的領域においても高品質な再構成が可能であり,定量化と視覚的評価の両面から,最先端の単一画像やLF再構成よりも優れる。
  論文  参考訳（メタデータ） (2020-03-29T18:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。