Fugu-MT 論文翻訳(概要): $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model

論文の概要: $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model

arxiv url: http://arxiv.org/abs/2411.11906v1
Date: Sat, 16 Nov 2024 11:13:02 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-20 13:36:55.394995
Title: $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model
Title（参考訳）: $\text{S}^{3}$Mamba: スケール可能な状態空間モデルによる任意スケール超解法
Authors: Peizhe Xia, Long Peng, Xin Di, Renjing Pei, Yang Wang, Yang Cao, Zheng-Jun Zha,
Abstract要約: ASSRは、1つのモデルを用いて、任意のスケールで低解像度画像を高解像度画像に超解き放つことを目的としている。拡張性のある連続表現空間を構築するために,$textS3$Mambaと呼ばれる新しい任意のスケール超解法を提案する。
参考スコア（独自算出の注目度）: 45.65903826290642
License:
Abstract: Arbitrary scale super-resolution (ASSR) aims to super-resolve low-resolution images to high-resolution images at any scale using a single model, addressing the limitations of traditional super-resolution methods that are restricted to fixed-scale factors (e.g., $\times2$, $\times4$). The advent of Implicit Neural Representations (INR) has brought forth a plethora of novel methodologies for ASSR, which facilitate the reconstruction of original continuous signals by modeling a continuous representation space for coordinates and pixel values, thereby enabling arbitrary-scale super-resolution. Consequently, the primary objective of ASSR is to construct a continuous representation space derived from low-resolution inputs. However, existing methods, primarily based on CNNs and Transformers, face significant challenges such as high computational complexity and inadequate modeling of long-range dependencies, which hinder their effectiveness in real-world applications. To overcome these limitations, we propose a novel arbitrary-scale super-resolution method, called $\text{S}^{3}$Mamba, to construct a scalable continuous representation space. Specifically, we propose a Scalable State Space Model (SSSM) to modulate the state transition matrix and the sampling matrix of step size during the discretization process, achieving scalable and continuous representation modeling with linear computational complexity. Additionally, we propose a novel scale-aware self-attention mechanism to further enhance the network's ability to perceive global important features at different scales, thereby building the $\text{S}^{3}$Mamba to achieve superior arbitrary-scale super-resolution. Extensive experiments on both synthetic and real-world benchmarks demonstrate that our method achieves state-of-the-art performance and superior generalization capabilities at arbitrary super-resolution scales.
Abstract（参考訳）: 任意スケール超解像(ASSR)は、1つのモデルを用いて任意のスケールで高解像度画像に超解像を超解像することを目的としており、固定スケールの要素に制限される従来の超解像法(例えば$\times2$, $\times4$)の限界に対処する。 Inlicit Neural Representations (INR) の出現は、座標とピクセル値の連続表現空間をモデル化し、任意のスケールの超解像を実現することによって、元の連続信号の再構成を容易にするASSRの新しい方法論を多数生み出した。したがって、ASSRの主な目的は、低分解能入力から導かれる連続表現空間を構築することである。しかし、CNNやTransformerをベースとした既存の手法は、計算の複雑さや長距離依存の不十分なモデリングといった重大な課題に直面しており、現実のアプリケーションではその効果を妨げている。これらの制限を克服するために、スケーラブルな連続表現空間を構築するために、$\text{S}^{3}$Mambaと呼ばれる新しい任意のスケール超解法を提案する。具体的には、離散化過程における状態遷移行列とサンプリング行列を変調するスケーラブルな状態空間モデル(SSSM)を提案し、線形計算複雑性を伴うスケーラブルかつ連続的な表現モデルを実現する。さらに,異なるスケールでグローバルな重要な特徴を知覚するネットワークの能力を一層高め,より優れた任意のスケールの超解像を実現するために$\text{S}^{3}$Mambaを構築するための,新たなスケール対応自己認識機構を提案する。提案手法は, 任意の超解像スケールにおいて, 最先端性能と優れた一般化能力を達成することを実証した。

論文の概要: $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model

関連論文リスト