論文の概要: MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs
- arxiv url: http://arxiv.org/abs/2408.11758v1
- Date: Wed, 21 Aug 2024 16:30:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 16:18:16.528986
- Title: MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs
- Title（参考訳）: MambaCSR:SSMによる圧縮画像の超解像のためのデュアルインターリーブスキャン
- Authors: Yulin Ren, Xin Li, Mengxi Guo, Bingchen Li, Shijie Zhao, Zhibo Chen,
- Abstract要約: MambaCSRは、圧縮画像超解像(CSR)タスクのためのMambaをベースにしたフレームワークである。
本稿では,2つの走査戦略からなるCSRのための効率的なデュアルインターリーブ走査パラダイム(DIS)を提案する。
複数のベンチマークの結果から,圧縮画像超解像タスクにおけるMambaCSRの優れた性能が示された。
- 参考スコア（独自算出の注目度）: 14.42424591513825
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present MambaCSR, a simple but effective framework based on Mamba for the challenging compressed image super-resolution (CSR) task. Particularly, the scanning strategies of Mamba are crucial for effective contextual knowledge modeling in the restoration process despite it relying on selective state space modeling for all tokens. In this work, we propose an efficient dual-interleaved scanning paradigm (DIS) for CSR, which is composed of two scanning strategies: (i) hierarchical interleaved scanning is designed to comprehensively capture and utilize the most potential contextual information within an image by simultaneously taking advantage of the local window-based and sequential scanning methods; (ii) horizontal-to-vertical interleaved scanning is proposed to reduce the computational cost by leaving the redundancy between the scanning of different directions. To overcome the non-uniform compression artifacts, we also propose position-aligned cross-scale scanning to model multi-scale contextual information. Experimental results on multiple benchmarks have shown the great performance of our MambaCSR in the compressed image super-resolution task. The code will be soon available in~\textcolor{magenta}{\url{https://github.com/renyulin-f/MambaCSR}}.
- Abstract（参考訳）: 本稿では,圧縮画像超解像(CSR)の課題に対して,Mambaをベースとしたシンプルだが効果的なフレームワークであるMambaCSRを提案する。
特にマンバのスキャン戦略は、全てのトークンに対して選択的な状態空間モデリングに依存するにもかかわらず、回復過程において効果的な文脈知識モデリングに不可欠である。
本研究では,2つの走査戦略からなるCSRのための効率的なデュアルインターリーブ・スキャン・パラダイム(DIS)を提案する。
(i)階層型インターリーブスキャンは、局所ウィンドウベースおよびシーケンシャルスキャン手法を併用することにより、画像内の最も潜在的なコンテキスト情報を包括的にキャプチャし、活用するように設計されている。
(II)水平-垂直相互走査法を提案し、異なる方向の走査間の冗長性を残して計算コストを削減する。
また,非一様圧縮アーチファクトを克服するために,複数スケールのコンテキスト情報をモデル化するための位置整列型クロススケールスキャンを提案する。
複数のベンチマークによる実験結果から,圧縮画像超解像課題におけるMambaCSRの優れた性能が示された。
コードは、~\textcolor{magenta}{\url{https://github.com/renyulin-f/MambaCSR}}ですぐに利用可能になる。
関連論文リスト
- MambaIRv2: Attentive State Space Restoration [96.4452232356586]
本稿では,空間復元モデルに到達するために,MambaとViTsに似た非因果モデリング能力を備えたMambaIRv2を提案する。
具体的には、提案された注意状態空間方程式は、スキャンされたシーケンスを超えることができ、単一のスキャンで画像の展開を容易にする。
論文 参考訳（メタデータ） (2024-11-22T12:45:12Z) - Hi-Mamba: Hierarchical Mamba for Efficient Image Super-Resolution [42.259283231048954]
状態空間モデル(SSM)は、線形複雑性を伴う長距離依存性をモデル化する上で、強力な表現能力を示している。
画像超解像(SR)のための新しい階層型マンバネットワーク、すなわちHi-Mambaを提案する。
論文 参考訳（メタデータ） (2024-10-14T04:15:04Z) - MHS-VM: Multi-Head Scanning in Parallel Subspaces for Vision Mamba [0.43512163406552]
Mambaとのステートスペースモデル(SSM)は、線形複雑性を伴う長距離依存性モデリングを大いに約束している。
1次元選択的スキャンにより2次元画像空間内の視覚的特徴を効果的に整理・構築するために,新しいマルチヘッドスキャン(MHS)モジュールを提案する。
その結果、マルチヘッドスキャンプロセスから得られたサブ埋め込みは統合され、最終的に高次元空間に投影される。
論文 参考訳（メタデータ） (2024-06-10T03:24:43Z) - Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
論文 参考訳（メタデータ） (2024-05-23T09:13:36Z) - Rethinking Scanning Strategies with Vision Mamba in Semantic Segmentation of Remote Sensing Imagery: An Experimental Study [7.334290421966221]
画像のセマンティックセグメンテーションにおける主流走査方向とそれらの組み合わせの影響について検討する。
高解像度リモートセンシング画像のセマンティックセグメンテーションには、単純で単一の走査方向が十分であると考えられる。
論文 参考訳（メタデータ） (2024-05-14T10:36:56Z) - Super-Resolution on Rotationally Scanned Photoacoustic Microscopy Images
Incorporating Scanning Prior [12.947842858489516]
光音響顕微鏡(PAM)画像は、光コントラストと音響分解能の利点を組み合わせた脳研究で広く利用されている。
走査速度と画像解像度の間にはトレードオフがあり、従来の走査と比較すると、回転走査は走査機構を最適化することで高速なPAMイメージングの好機となる。
本研究では,回転走査型PAMイメージングのための新しい高性能超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-12T12:41:35Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-21T06:59:07Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - SCSNet: An Efficient Paradigm for Learning Simultaneously Image
Colorization and Super-Resolution [39.77987463287673]
画像のカラー化と超解像(SCS)を同時に行うための効率的なパラダイムを提案する。
提案手法は2つの部分から構成される: プラグアンドプレイのemphPyramid Valve Cross Attention (PVCAttn)モジュールを用いた色情報学習用カラー化ブランチ。
我々のSCSNetは、実用上よりフレキシブルな自動モードと参照モードの両方をサポートしている。
論文 参考訳（メタデータ） (2022-01-12T08:59:12Z) - Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based
Image Retrieval [55.29233996427243]
ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。
本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。
これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。
以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
論文 参考訳（メタデータ） (2020-06-20T22:43:53Z) - DDet: Dual-path Dynamic Enhancement Network for Real-World Image
Super-Resolution [69.2432352477966]
実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。
本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
論文 参考訳（メタデータ） (2020-02-25T18:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。