論文の概要: BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment

• arxiv url: http://arxiv.org/abs/2204.08332v1
• Date: Mon, 18 Apr 2022 14:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 16:01:21.654286
• Title: BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment
• Title（参考訳）: bsrt:スウィントランスとフロー誘導変形アライメントによるバースト超解像の改善
• Authors: Ziwei Luo, Youwei Li, Shen Cheng, Lei Yu, Qi Wu, Zhihong Wen, Haoqiang Fan, Jian Sun, Shuaicheng Liu
• Abstract要約: この研究は新しいアーキテクチャを使ってBurst Super-Resolution (BurstSR)タスクに対処し、ノイズ、不一致、低解像度のRAWバーストから高品質な画像を復元する必要がある。 本稿では,フレーム間情報抽出と再構築の能力を大幅に向上するBurst Super-Resolution Transformer (BSRT)を提案する。 我々のBSRTはNTIRE2022 Burst Super-Resolution Challengeで優勝した。
• 参考スコア（独自算出の注目度）: 84.82352123245488
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work addresses the Burst Super-Resolution (BurstSR) task using a new architecture, which requires restoring a high-quality image from a sequence of noisy, misaligned, and low-resolution RAW bursts. To overcome the challenges in BurstSR, we propose a Burst Super-Resolution Transformer (BSRT), which can significantly improve the capability of extracting inter-frame information and reconstruction. To achieve this goal, we propose a Pyramid Flow-Guided Deformable Convolution Network (Pyramid FG-DCN) and incorporate Swin Transformer Blocks and Groups as our main backbone. More specifically, we combine optical flows and deformable convolutions, hence our BSRT can handle misalignment and aggregate the potential texture information in multi-frames more efficiently. In addition, our Transformer-based structure can capture long-range dependency to further improve the performance. The evaluation on both synthetic and real-world tracks demonstrates that our approach achieves a new state-of-the-art in BurstSR task. Further, our BSRT wins the championship in the NTIRE2022 Burst Super-Resolution Challenge.
• Abstract（参考訳）: この研究は新しいアーキテクチャを使ってBurst Super-Resolution (BurstSR)タスクに対処し、ノイズ、不一致、低解像度のRAWバーストから高品質な画像を復元する必要がある。 BurstSRの課題を克服するため,Bast Super-Resolution Transformer (BSRT)を提案する。 この目的を達成するために、Pyramid FG-DCN(Pyramid Flow-Guided Deformable Convolution Network)を提案し、Swin Transformer Blocks and Groupsをメインバックボーンとして組み込む。 より具体的には、光学フローと変形可能な畳み込みを組み合わせることで、BSRTはミスアライメントを処理し、潜在的テクスチャ情報を多フレームでより効率的に集約することができる。 さらに、トランスベース構造は長距離依存性を捕捉し、さらなる性能向上を図ることができる。 合成トラックと実世界のトラックの評価は,BurstSRタスクにおける新しい最先端のタスクを実現することを実証している。 さらに,我々のBSRTはNTIRE2022 Burst Super-Resolution Challengeで優勝した。

関連論文リスト

• SwinFuSR: an image fusion-inspired model for RGB-guided thermal image super-resolution [0.16385815610837165]
  超高分解能(SR)法は、高周波の詳細が欠如しているため、しばしば熱画像に苦しむ。 SwinFusionにインスパイアされたSwinFuSRは、Swin変換器をベースとしたガイド付きSRアーキテクチャである。 提案手法は,Pak Signal to Noise Ratio (PSNR) とStructure SIMilarity (SSIM) の両面において,少ないパラメータと性能を有する。
  論文  参考訳（メタデータ） (2024-04-22T19:01:18Z)
• Fortifying Fully Convolutional Generative Adversarial Networks for Image Super-Resolution Using Divergence Measures [17.517010701323823]
  超解像(英: Super-Resolution, SR)は、時間制限された画像処理問題である。 本稿では,SRのためのGANベースのアーキテクチャを提案する。 本稿では,GAN発生器の深度を増大させることで得られる差分畳み込み特性を,学習可能な凸重みの集合で最適に組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2024-04-09T13:19:43Z)
• Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
  本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。 また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
  論文  参考訳（メタデータ） (2023-09-09T14:11:37Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network [101.53907377000445]
  軽量画像超解像は、低解像度画像から低計算コストで高解像度画像を再構成することを目的としている。 既存の方法では、活性化関数による中間層の特徴が失われる。 本稿では,中間的特徴損失が再構成品質に与える影響を最小限に抑えるために,特徴相互作用重み付きハイブリッドネットワーク(FIWHN)を提案する。
  論文  参考訳（メタデータ） (2022-12-29T05:57:29Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• Single Image Super-Resolution Using Lightweight Networks Based on Swin Transformer [2.9649783577150837]
  我々は、Swin Transformerに基づくMSwinSRとUGSwinSRという2つの軽量モデルを提案する。 MSwinSRは、最先端のSwinIRと比較してPSNRを$mathbf0.07dB$で増加させる。 パラメータの数は$mathbf30.68%$で、計算コストは$mathbf9.936%$で削減できる。
  論文  参考訳（メタデータ） (2022-10-20T05:03:16Z)
• Bilateral Network with Channel Splitting Network and Transformer for Thermal Image Super-Resolution [8.754793353368255]
  本稿では,PBVS-2022におけるチャネル分割ネットワークとトランスフォーマーを用いたバイラテラルネットワークの設計に関する技術的考察を紹介する。 提案手法は,PSNR=33.64,SSIM=0.9263,PSNR=21.08,SSIM=0.7803をPBVS-2022チャレンジテストデータセットで達成できる。
  論文  参考訳（メタデータ） (2022-06-24T02:48:15Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。