論文の概要: Learning Non-Local Spatial-Angular Correlation for Light Field Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2302.08058v1
• Date: Thu, 16 Feb 2023 03:40:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:12:22.817445
• Title: Learning Non-Local Spatial-Angular Correlation for Light Field Image Super-Resolution
• Title（参考訳）: 光場画像の超解像に対する非局所空間角相関の学習
• Authors: Zhengyu Liang, Yingqian Wang, Longguang Wang, Jungang Yang, Shilin Zhou, Yulan Guo
• Abstract要約: 光場(LF)画像超解像(SR)には空間-角相関の爆発が不可欠である LF画像SRの非局所的空間角相関を学習するための簡易かつ効果的な手法を提案する。 提案手法は,全角視からの情報を完全に取り入れつつ,極上線に沿った大域的受容場を達成できる。
• 参考スコア（独自算出の注目度）: 36.69391399634076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploiting spatial-angular correlation is crucial to light field (LF) image super-resolution (SR), but is highly challenging due to its non-local property caused by the disparities among LF images. Although many deep neural networks (DNNs) have been developed for LF image SR and achieved continuously improved performance, existing methods cannot well leverage the long-range spatial-angular correlation and thus suffer a significant performance drop when handling scenes with large disparity variations. In this paper, we propose a simple yet effective method to learn the non-local spatial-angular correlation for LF image SR. In our method, we adopt the epipolar plane image (EPI) representation to project the 4D spatial-angular correlation onto multiple 2D EPI planes, and then develop a Transformer network with repetitive self-attention operations to learn the spatial-angular correlation by modeling the dependencies between each pair of EPI pixels. Our method can fully incorporate the information from all angular views while achieving a global receptive field along the epipolar line. We conduct extensive experiments with insightful visualizations to validate the effectiveness of our method. Comparative results on five public datasets show that our method not only achieves state-of-the-art SR performance, but also performs robust to disparity variations. Code is publicly available at https://github.com/ZhengyuLiang24/EPIT.
• Abstract（参考訳）: 空間-角相関の爆発は光場(LF)画像超解像(SR)にとって重要であるが、LF画像間の相違による非局所性のため、非常に困難である。 多くのディープニューラルネットワーク(dnn)がlfイメージsr用に開発され、性能が継続的に向上しているが、既存の手法では長距離空間-三角形相関を十分に活用できないため、大きなばらつきを持つシーンを扱う場合のパフォーマンス低下が著しい。 本稿では,LF画像SRの非局所空間角相関を学習するための簡易かつ効果的な手法を提案する。 本研究では,複数の2次元EPI平面に4次元空間角相関を投影するために,エピポーラ平面画像(EPI)表現を採用し,また,反復的な自己アテンション操作を施したトランスフォーマーネットワークを開発し,それぞれのEPI画素間の依存関係をモデル化して空間角相関を学習する。 提案手法は,全角視からの情報を完全に取り入れつつ,極上線に沿った大域的受容場を達成できる。 本手法の有効性を検証するため,洞察力のある可視化実験を行った。 5つの公開データセットの比較結果から,本手法は最先端のsr性能を実現するだけでなく,ばらつきに頑健な性能を示す。 コードはhttps://github.com/ZhengyuLiang24/EPIT.comで公開されている。

関連論文リスト

• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Physics-Informed Ensemble Representation for Light-Field Image Super-Resolution [12.156009287223382]
  我々は、光場(LF)撮像プロセスの座標変換を分析し、LF画像の幾何学的関係を明らかにする。 我々は,仮想スリット画像(VSI)の新たなLF部分空間を導入し,サブアパーチャ画像に補完するサブピクセル情報を提供する。 アンサンプされたLFデータから画像構造を超解き出すために,EPIXformer という幾何認識デコーダを提案する。
  論文  参考訳（メタデータ） (2023-05-31T16:27:00Z)
• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• Dual-Flow Transformation Network for Deformable Image Registration with Region Consistency Constraint [95.30864269428808]
  現在のディープラーニング(DL)ベースの画像登録アプローチは、畳み込みニューラルネットワークを利用して、ある画像から別の画像への空間変換を学習する。 一対のイメージ内のROIの類似性を最大化する領域整合性制約を持つ新しいデュアルフロー変換ネットワークを提案する。 4つの公開3次元MRIデータセットを用いた実験により,提案手法は精度と一般化において最高の登録性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-12-04T05:30:44Z)
• Light Field Image Super-Resolution with Transformers [11.104338786168324]
  CNNに基づく手法は、LF画像SRにおいて顕著な性能を達成した。 LF画像SRのための簡易だが効果的なトランスフォーマー方式を提案する。 本手法は,モデルサイズが小さく,計算コストが低く,優れたSR性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T12:58:11Z)
• Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines [42.59723383219793]
  本稿では、一般的な幾何学的ワープ操作を置き換えるための学習可能なモデル、すなわち動的再構成を提案する。 実験の結果,再建したLF重みはPSNR/SSIMよりもはるかに高い値を示し,LFパララックス構造は最先端の手法よりも良好であることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T02:20:03Z)
• A Parallel Down-Up Fusion Network for Salient Object Detection in Optical Remote Sensing Images [82.87122287748791]
  光リモートセンシング画像(RSI)における有意な物体検出のための新しい並列ダウンアップフュージョンネットワーク(PDF-Net)を提案する。 In-pathの低レベル・高レベルな特徴とクロスパスの多解像度な特徴をフル活用して、多様なスケールのサルエントオブジェクトを識別し、散らかった背景を抑える。 ORSSDデータセットの実験により、提案したネットワークは定性的かつ定量的に最先端のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T05:27:57Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。