論文の概要: BurstM: Deep Burst Multi-scale SR using Fourier Space with Optical Flow
- arxiv url: http://arxiv.org/abs/2409.15384v1
- Date: Sat, 21 Sep 2024 15:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 13:20:55.007767
- Title: BurstM: Deep Burst Multi-scale SR using Fourier Space with Optical Flow
- Title(参考訳): BurstM:光流を用いたフーリエ空間を用いた深部バーストマルチスケールSR
- Authors: EungGu Kang, Byeonghun Lee, Sunghoon Im, Kyong Hwan Jin,
- Abstract要約: マルチフレーム超解像(MFSR)は単一画像超解像(SISR)よりも高い性能を達成する
最近のMFSRアプローチは、変形可能な畳み込みネットワーク(DCN)に適応してフレームを整列させる。
光フローを用いたフーリエ空間を用いたディープバーストマルチスケールSR(BurstM)を提案する。
- 参考スコア(独自算出の注目度): 16.548851451690908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi frame super-resolution(MFSR) achieves higher performance than single image super-resolution (SISR), because MFSR leverages abundant information from multiple frames. Recent MFSR approaches adapt the deformable convolution network (DCN) to align the frames. However, the existing MFSR suffers from misalignments between the reference and source frames due to the limitations of DCN, such as small receptive fields and the predefined number of kernels. From these problems, existing MFSR approaches struggle to represent high-frequency information. To this end, we propose Deep Burst Multi-scale SR using Fourier Space with Optical Flow (BurstM). The proposed method estimates the optical flow offset for accurate alignment and predicts the continuous Fourier coefficient of each frame for representing high-frequency textures. In addition, we have enhanced the network flexibility by supporting various super-resolution (SR) scale factors with the unimodel. We demonstrate that our method has the highest performance and flexibility than the existing MFSR methods. Our source code is available at https://github.com/Egkang-Luis/burstm
- Abstract(参考訳): マルチフレーム超解像(MFSR)は、MFSRが複数のフレームから豊富な情報を利用するため、単一の画像超解像(SISR)よりも高い性能を実現する。
最近のMFSRアプローチは、変形可能な畳み込みネットワーク(DCN)に適応してフレームを整列させる。
しかし、既存のMFSRは、DCNの制限のために参照フレームとソースフレームのミスアライメントに悩まされている。
これらの問題から、既存のMFSRアプローチは高周波情報を表現するのに苦労している。
そこで本研究では,Fourier Space with Optical Flow (BurstM) を用いたDeep Burst Multi-scale SRを提案する。
提案手法は, 高精度なアライメントのための光学フローオフセットを推定し, 高周波テクスチャを表現するために各フレームの連続フーリエ係数を予測する。
さらに,単一モデルで様々な超解像(SR)スケールファクタをサポートすることにより,ネットワークの柔軟性を向上した。
提案手法は既存のMFSR法よりも高い性能と柔軟性を有することを示す。
ソースコードはhttps://github.com/Egkang-Luis/burstmで公開しています。
関連論文リスト
- Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion [12.935592400092712]
Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。
INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。
本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
論文 参考訳(メタデータ) (2024-04-23T16:14:20Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - Multi-Depth Branch Network for Efficient Image Super-Resolution [12.042706918188566]
超解像(SR)における長年の課題は、低解像(LR)の高頻度細部を効率的に拡張する方法である。
MDBM(Multi-Depth Branch Module)を特徴とする非対称SRアーキテクチャを提案する。
MDBMには異なる深さの枝があり、高い周波数と低周波の情報を同時に、効率的に捉えるように設計されている。
論文 参考訳(メタデータ) (2023-09-29T15:46:25Z) - Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。
また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
論文 参考訳(メタデータ) (2023-09-09T14:11:37Z) - Implicit Neural Feature Fusion Function for Multispectral and
Hyperspectral Image Fusion [12.43436096160316]
MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
論文 参考訳(メタデータ) (2023-07-14T11:59:47Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:14:13Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time
Video Super-Resolution [52.899234731501075]
時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。
既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。
本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T15:21:30Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳(メタデータ) (2021-01-26T18:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。