論文の概要: BurstM: Deep Burst Multi-scale SR using Fourier Space with Optical Flow

• arxiv url: http://arxiv.org/abs/2409.15384v1
• Date: Sat, 21 Sep 2024 15:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 13:20:55.007767
• Title: BurstM: Deep Burst Multi-scale SR using Fourier Space with Optical Flow
• Title（参考訳）: BurstM:光流を用いたフーリエ空間を用いた深部バーストマルチスケールSR
• Authors: EungGu Kang, Byeonghun Lee, Sunghoon Im, Kyong Hwan Jin,
• Abstract要約: マルチフレーム超解像(MFSR)は単一画像超解像(SISR)よりも高い性能を達成する 最近のMFSRアプローチは、変形可能な畳み込みネットワーク(DCN)に適応してフレームを整列させる。 光フローを用いたフーリエ空間を用いたディープバーストマルチスケールSR(BurstM)を提案する。
• 参考スコア（独自算出の注目度）: 16.548851451690908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi frame super-resolution(MFSR) achieves higher performance than single image super-resolution (SISR), because MFSR leverages abundant information from multiple frames. Recent MFSR approaches adapt the deformable convolution network (DCN) to align the frames. However, the existing MFSR suffers from misalignments between the reference and source frames due to the limitations of DCN, such as small receptive fields and the predefined number of kernels. From these problems, existing MFSR approaches struggle to represent high-frequency information. To this end, we propose Deep Burst Multi-scale SR using Fourier Space with Optical Flow (BurstM). The proposed method estimates the optical flow offset for accurate alignment and predicts the continuous Fourier coefficient of each frame for representing high-frequency textures. In addition, we have enhanced the network flexibility by supporting various super-resolution (SR) scale factors with the unimodel. We demonstrate that our method has the highest performance and flexibility than the existing MFSR methods. Our source code is available at https://github.com/Egkang-Luis/burstm
• Abstract（参考訳）: マルチフレーム超解像(MFSR)は、MFSRが複数のフレームから豊富な情報を利用するため、単一の画像超解像(SISR)よりも高い性能を実現する。 最近のMFSRアプローチは、変形可能な畳み込みネットワーク(DCN)に適応してフレームを整列させる。 しかし、既存のMFSRは、DCNの制限のために参照フレームとソースフレームのミスアライメントに悩まされている。 これらの問題から、既存のMFSRアプローチは高周波情報を表現するのに苦労している。 そこで本研究では,Fourier Space with Optical Flow (BurstM) を用いたDeep Burst Multi-scale SRを提案する。 提案手法は, 高精度なアライメントのための光学フローオフセットを推定し, 高周波テクスチャを表現するために各フレームの連続フーリエ係数を予測する。 さらに,単一モデルで様々な超解像(SR)スケールファクタをサポートすることにより,ネットワークの柔軟性を向上した。 提案手法は既存のMFSR法よりも高い性能と柔軟性を有することを示す。 ソースコードはhttps://github.com/Egkang-Luis/burstmで公開しています。

関連論文リスト

• HIIF: Hierarchical Encoding based Implicit Image Function for Continuous Super-resolution [16.652558917081954]
  連続画像超解像のためのtextbfHIIF を提案する。 提案手法では,非局所的な情報を考慮した多頭部線形注意機構を暗黙の注意ネットワーク内に組み込む。 実験により、異なるバックボーンエンコーダと統合した場合、HIIFはPSNRの0.17dBまで、最先端の連続画像超解像法より優れることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T22:35:20Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion [12.935592400092712]
  Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。 INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。 本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
  論文  参考訳（メタデータ） (2024-04-23T16:14:20Z)
• Multi-Depth Branch Network for Efficient Image Super-Resolution [12.042706918188566]
  超解像(SR)における長年の課題は、低解像(LR)の高頻度細部を効率的に拡張する方法である。 MDBM(Multi-Depth Branch Module)を特徴とする非対称SRアーキテクチャを提案する。 MDBMには異なる深さの枝があり、高い周波数と低周波の情報を同時に、効率的に捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-09-29T15:46:25Z)
• Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
  本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。 また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
  論文  参考訳（メタデータ） (2023-09-09T14:11:37Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。