論文の概要: QMambaBSR: Burst Image Super-Resolution with Query State Space Model

• arxiv url: http://arxiv.org/abs/2408.08665v1
• Date: Fri, 16 Aug 2024 11:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:45:35.008487
• Title: QMambaBSR: Burst Image Super-Resolution with Query State Space Model
• Title（参考訳）: QMambaBSR: クエリ状態空間モデルによるバーストイメージ超解法
• Authors: Xin Di, Long Peng, Peizhe Xia, Wenbo Li, Renjing Pei, Yang Cao, Yang Wang, Zheng-Jun Zha,
• Abstract要約: バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。 BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。 本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
• 参考スコア（独自算出の注目度）: 55.56075874424194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Burst super-resolution aims to reconstruct high-resolution images with higher quality and richer details by fusing the sub-pixel information from multiple burst low-resolution frames. In BusrtSR, the key challenge lies in extracting the base frame's content complementary sub-pixel details while simultaneously suppressing high-frequency noise disturbance. Existing methods attempt to extract sub-pixels by modeling inter-frame relationships frame by frame while overlooking the mutual correlations among multi-current frames and neglecting the intra-frame interactions, leading to inaccurate and noisy sub-pixels for base frame super-resolution. Further, existing methods mainly employ static upsampling with fixed parameters to improve spatial resolution for all scenes, failing to perceive the sub-pixel distribution difference across multiple frames and cannot balance the fusion weights of different frames, resulting in over-smoothed details and artifacts. To address these limitations, we introduce a novel Query Mamba Burst Super-Resolution (QMambaBSR) network, which incorporates a Query State Space Model (QSSM) and Adaptive Up-sampling module (AdaUp). Specifically, based on the observation that sub-pixels have consistent spatial distribution while random noise is inconsistently distributed, a novel QSSM is proposed to efficiently extract sub-pixels through inter-frame querying and intra-frame scanning while mitigating noise interference in a single step. Moreover, AdaUp is designed to dynamically adjust the upsampling kernel based on the spatial distribution of multi-frame sub-pixel information in the different burst scenes, thereby facilitating the reconstruction of the spatial arrangement of high-resolution details. Extensive experiments on four popular synthetic and real-world benchmarks demonstrate that our method achieves a new state-of-the-art performance.
• Abstract（参考訳）: バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。 BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。 既存手法では、フレーム間関係フレームをフレーム単位でモデル化し、多電流フレーム間の相互相関を見落とし、フレーム内相互作用を無視し、ベースフレーム超解像のための不正確でノイズの多いサブピクセルを抽出しようとする。 さらに、既存の手法では、固定パラメータによるスタティックアップサンプリングを用いて全シーンの空間分解能を向上し、複数のフレームにまたがるサブピクセルの分布差を認識できず、異なるフレームの融合重みのバランスが取れず、過度に滑らかな詳細とアーティファクトをもたらす。 これらの制約に対処するために、クエリ状態空間モデル(QSSM)と適応アップサンプリングモジュール(AdaUp)を組み込んだ新しいクエリMamba Burst Super-Resolution (QMambaBSR)ネットワークを導入する。 具体的には,一段階のノイズ干渉を緩和しつつ,フレーム間クエリやフレーム内スキャンを通じて,サブピクセルを効率よく抽出するQSSMを提案する。 さらに、AdaUpは、異なるバーストシーンにおけるマルチフレームサブピクセル情報の空間分布に基づいて、アップサンプリングカーネルを動的に調整し、高解像度の詳細の空間配置の再構築を容易にするように設計されている。 4つの一般的な合成および実世界のベンチマーク実験により,本手法が新たな最先端性能を実現することを示す。

関連論文リスト

• Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement [75.25451566988565]
  低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。 5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
  論文  参考訳（メタデータ） (2023-04-13T17:54:00Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Superpixel Segmentation Based on Spatially Constrained Subspace Clustering [57.76302397774641]
  独立意味情報を持つ各代表領域を部分空間とみなし,部分空間クラスタリング問題としてスーパーピクセルセグメンテーションを定式化する。 従来のサブスペースクラスタリングとスーパーピクセルセグメンテーションの簡単な統合は,画素の空間相関のために効果的に機能しないことを示す。 本稿では,空間隣接画素に類似の属性を付加してスーパーピクセルにクラスタリング可能な,凸局所性制約付きサブスペースクラスタリングモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-11T06:18:36Z)
• Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images [44.85260985973405]
  Cross-MPIは、新しい平面対応MPI機構、マルチスケールガイドアップサンプリングモジュール、超高分解能合成・融合モジュールからなるエンドツーエンドのRefSRネットワークである。 デジタル合成および光ズームクロススケールデータによる実験結果から,Cross-MPIフレームワークは既存のRefSR手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-11-30T09:14:07Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。