論文の概要: LGFN: Lightweight Light Field Image Super-Resolution using Local Convolution Modulation and Global Attention Feature Extraction
- arxiv url: http://arxiv.org/abs/2409.17759v1
- Date: Thu, 26 Sep 2024 11:53:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 19:53:49.700262
- Title: LGFN: Lightweight Light Field Image Super-Resolution using Local Convolution Modulation and Global Attention Feature Extraction
- Title（参考訳）: LGFN:局所畳み込み変調とグローバルアテンション特徴抽出を用いた軽量光フィールド画像超解像
- Authors: Zhongxin Yu, Liang Chen, Zhiyun Zeng, Kunping Yang, Shaofei Luo, Shaorui Chen, Cheng Zhong,
- Abstract要約: 本稿では,LGFN という軽量なモデルを提案する。このモデルでは,異なるビューの局所的特徴とグローバル的特徴と,LF 画像 SR のための異なるチャネルの特徴を統合している。
我々のモデルは0.45Mのパラメータと19.33GのFLOPを持つ。
- 参考スコア（独自算出の注目度）: 5.461017270708014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capturing different intensity and directions of light rays at the same scene Light field (LF) can encode the 3D scene cues into a 4D LF image which has a wide range of applications (i.e. post-capture refocusing and depth sensing). LF image super-resolution (SR) aims to improve the image resolution limited by the performance of LF camera sensor. Although existing methods have achieved promising results the practical application of these models is limited because they are not lightweight enough. In this paper we propose a lightweight model named LGFN which integrates the local and global features of different views and the features of different channels for LF image SR. Specifically owing to neighboring regions of the same pixel position in different sub-aperture images exhibit similar structural relationships we design a lightweight CNN-based feature extraction module (namely DGCE) to extract local features better through feature modulation. Meanwhile as the position beyond the boundaries in the LF image presents a large disparity we propose an efficient spatial attention module (namely ESAM) which uses decomposable large-kernel convolution to obtain an enlarged receptive field and an efficient channel attention module (namely ECAM). Compared with the existing LF image SR models with large parameter our model has a parameter of 0.45M and a FLOPs of 19.33G which has achieved a competitive effect. Extensive experiments with ablation studies demonstrate the effectiveness of our proposed method which ranked the second place in the Track 2 Fidelity & Efficiency of NTIRE2024 Light Field Super Resolution Challenge and the seventh place in the Track 1 Fidelity.
- Abstract（参考訳）: 光場(LF)は同じシーンで異なる光線の強度と方向をキャプチャすることで、3Dシーンキューを広い用途(すなわち、撮影後再焦点と深度センシング)を持つ4DLF画像に符号化することができる。
LF画像超解像(SR)は、LFカメラセンサの性能に制限された画像解像度を改善することを目的としている。
既存の手法は有望な結果を得たが、これらのモデルの実用的応用は十分軽量ではないため限られている。
本稿では,LGFNという軽量なモデルを提案する。このモデルでは,異なるビューの局所的特徴とグローバル的特徴と,LF画像SRのための異なるチャネルの特徴を統合している。
具体的には、異なるサブアパーチャ画像における同じ画素位置の近傍領域が類似した構造関係を示すため、特徴変調により局所的特徴をよりよく抽出する軽量なCNNベースの特徴抽出モジュール(DGCE)を設計する。
一方、LF画像の境界を超える位置が大きな差異を示すため、分解可能な大カーネル畳み込みを用いた効率的な空間アテンションモジュール(ESAM)を提案し、拡張された受容場と効率的なチャネルアテンションモジュール(ECAM)を得る。
既存のLF画像SRモデルに比べて大きなパラメータを持つモデルでは、パラメータが0.45M、FLOPが19.33Gであり、競合効果が得られた。
NTIRE2024光場超解像チャレンジのトラック2の2位とトラック1の7位にランク付けした。
関連論文リスト
- LFIC-DRASC: Deep Light Field Image Compression Using Disentangled Representation and Asymmetrical Strip Convolution [51.909036244222904]
ディスタングル表現と非対称ストリップ畳み込みを用いたエンドツーエンドのディープLF画像圧縮法を提案する。
実験の結果,提案したLFIC-DRASCは平均20.5%のビットレート削減を達成した。
論文 参考訳（メタデータ） (2024-09-18T05:33:42Z) - Diffusion-based Light Field Synthesis [50.24624071354433]
LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。
本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。
広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
論文 参考訳（メタデータ） (2024-02-01T13:13:16Z) - LFSRDiff: Light Field Image Super-Resolution via Diffusion Models [18.20217829625834]
光電場(LF)画像超解像(SR)は、固有の不適切な性質のため難しい問題である。
主流のLF画像SR法は、一般的に決定論的アプローチを採用し、ピクセル単位の損失関数によって制御される1つの出力しか生成しない。
本稿では,最初の拡散型LF画像SRモデルであるLPSRDiffを紹介する。
論文 参考訳（メタデータ） (2023-11-27T07:31:12Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-10T07:53:06Z) - Probabilistic-based Feature Embedding of 4-D Light Fields for
Compressive Imaging and Denoising [62.347491141163225]
4次元光電場(LF)は、効率的で効果的な機能埋め込みを実現する上で大きな課題となる。
様々な低次元畳み込みパターンを組み立てることで特徴埋め込みアーキテクチャを学習する確率論的特徴埋め込み(PFE)を提案する。
実世界および合成4次元LF画像において,本手法の有意な優位性を実証した。
論文 参考訳（メタデータ） (2023-06-15T03:46:40Z) - Sub-Aperture Feature Adaptation in Single Image Super-resolution Model
for Light Field Imaging [17.721259583120396]
本稿では,この強力なSISRモデルを活用するために,事前訓練されたSingle Image Super Resolution (SISR)ネットワークにおける適応モジュールを提案する。
これは、LF画像の空間的および角的情報をさらに活用し、超解像性能を向上させるためのSISRネットワークの適応である。
論文 参考訳（メタデータ） (2022-07-25T03:43:56Z) - Disentangling Light Fields for Super-Resolution and Disparity Estimation [67.50796924758221]
光フィールド(LF)カメラは光線の強度と方向の両方を記録し、3Dシーンを4DLF画像にエンコードする。
空間的・角的な情報は様々な相違で高度に絡み合っているため、畳み込みニューラルネットワーク(CNN)がLF画像を処理することは困難である。
本稿では,この結合した情報をLF画像処理のために切り離すための汎用メカニズムを提案する。
論文 参考訳（メタデータ） (2022-02-22T01:04:41Z) - Light Field Image Super-Resolution with Transformers [11.104338786168324]
CNNに基づく手法は、LF画像SRにおいて顕著な性能を達成した。
LF画像SRのための簡易だが効果的なトランスフォーマー方式を提案する。
本手法は,モデルサイズが小さく,計算コストが低く,優れたSR性能を実現する。
論文 参考訳（メタデータ） (2021-08-17T12:58:11Z) - Deep Selective Combinatorial Embedding and Consistency Regularization
for Light Field Super-resolution [93.95828097088608]
ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。
LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。
本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。
合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
論文 参考訳（メタデータ） (2020-09-26T08:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。