論文の概要: Mamba-based Light Field Super-Resolution with Efficient Subspace Scanning

• arxiv url: http://arxiv.org/abs/2406.16083v1
• Date: Sun, 23 Jun 2024 11:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:04:12.781427
• Title: Mamba-based Light Field Super-Resolution with Efficient Subspace Scanning
• Title（参考訳）: 効率的な部分空間走査によるマンバ型光電界超解像
• Authors: Ruisheng Gao, Zeyu Xiao, Zhiwei Xiong,
• Abstract要約: 4次元光場(LF)超解像において,トランスフォーマー法は優れた性能を示した。 しかし、その二次的な複雑さは、高解像度の4D入力の効率的な処理を妨げる。 我々は,効率的な部分空間走査戦略を設計し,マンバをベースとした光場超解法 MLFSR を提案する。
• 参考スコア（独自算出の注目度）: 48.99361249764921
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based methods have demonstrated impressive performance in 4D light field (LF) super-resolution by effectively modeling long-range spatial-angular correlations, but their quadratic complexity hinders the efficient processing of high resolution 4D inputs, resulting in slow inference speed and high memory cost. As a compromise, most prior work adopts a patch-based strategy, which fails to leverage the full information from the entire input LFs. The recently proposed selective state-space model, Mamba, has gained popularity for its efficient long-range sequence modeling. In this paper, we propose a Mamba-based Light Field Super-Resolution method, named MLFSR, by designing an efficient subspace scanning strategy. Specifically, we tokenize 4D LFs into subspace sequences and conduct bi-directional scanning on each subspace. Based on our scanning strategy, we then design the Mamba-based Global Interaction (MGI) module to capture global information and the local Spatial- Angular Modulator (SAM) to complement local details. Additionally, we introduce a Transformer-to-Mamba (T2M) loss to further enhance overall performance. Extensive experiments on public benchmarks demonstrate that MLFSR surpasses CNN-based models and rivals Transformer-based methods in performance while maintaining higher efficiency. With quicker inference speed and reduced memory demand, MLFSR facilitates full-image processing of high-resolution 4D LFs with enhanced performance.
• Abstract（参考訳）: トランスフォーマーに基づく手法は、長距離空間角相関を効果的にモデル化することで、4次元光場(LF)超解像において顕著な性能を示したが、その2次複雑さは高分解能4次元入力の効率的な処理を妨げ、推論速度が遅く、メモリコストも高い。 妥協として、ほとんどの以前の作業はパッチベースの戦略を採用しており、入力LF全体からの完全な情報を活用できない。 最近提案された選択的状態空間モデルであるMambaは、その効率的な長距離シーケンスモデリングで人気を集めている。 本稿では,効率的な部分空間走査法を設計し,マンバをベースとした光場超解法 MLFSR を提案する。 具体的には、4次元LFをサブスペースシーケンスにトークン化し、各サブスペース上で双方向走査を行う。 スキャン戦略に基づいて、グローバル情報をキャプチャするMambaベースのGlobal Interaction(MGI)モジュールと、ローカルなSpatial-Angular Modulator(SAM)を設計し、局所的な詳細を補完する。 さらに,Transformer-to-Mamba (T2M)ロスを導入し,全体的な性能を向上させる。 MLFSRはCNNベースのモデルを超え、高い効率を維持しながらTransformerベースの手法に匹敵する性能を示す。 高速な推論速度とメモリ要求の低減により、MLFSRは高性能な高解像度4D LFのフルイメージ処理を容易にする。

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• LFMamba: Light Field Image Super-Resolution with State Space Model [28.426889157353028]
  LFMambaと呼ばれる光フィールド画像の超解像のためのSSMネットワークを提案する。 LFベンチマーク実験の結果, LFMambaの性能は良好であった。 LFMambaは、状態空間モデルによるLFの効果的な表現学習に光を当てていると期待している。
  論文  参考訳（メタデータ） (2024-06-18T10:13:19Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs [1.7648680700685022]
  水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。 近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。 MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
  論文  参考訳（メタデータ） (2024-04-22T05:12:11Z)
• Memory-Efficient Optical Flow via Radius-Distribution Orthogonal Cost Volume [6.122542233250026]
  本稿では,高分解能光フロー推定のためのメモリ効率の高い新しい手法であるMeFlowを提案する。 Sintel と KITTI のベンチマークでは,高解像度入力において高いメモリ効率を維持しながら,競合性能を実現している。
  論文  参考訳（メタデータ） (2023-12-06T12:43:11Z)
• Light Field Image Super-Resolution with Transformers [11.104338786168324]
  CNNに基づく手法は、LF画像SRにおいて顕著な性能を達成した。 LF画像SRのための簡易だが効果的なトランスフォーマー方式を提案する。 本手法は,モデルサイズが小さく,計算コストが低く,優れたSR性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T12:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。