論文の概要: LFMamba: Light Field Image Super-Resolution with State Space Model

• arxiv url: http://arxiv.org/abs/2406.12463v1
• Date: Tue, 18 Jun 2024 10:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:27:22.554739
• Title: LFMamba: Light Field Image Super-Resolution with State Space Model
• Title（参考訳）: LFMamba: 状態空間モデルによる光フィールド画像の超解像
• Authors: Wang xia, Yao Lu, Shunzhou Wang, Ziqi Wang, Peiqi Xia, Tianfei Zhou,
• Abstract要約: LFMambaと呼ばれる光フィールド画像の超解像のためのSSMネットワークを提案する。 LFベンチマーク実験の結果, LFMambaの性能は良好であった。 LFMambaは、状態空間モデルによるLFの効果的な表現学習に光を当てていると期待している。
• 参考スコア（独自算出の注目度）: 28.426889157353028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed significant advancements in light field image super-resolution (LFSR) owing to the progress of modern neural networks. However, these methods often face challenges in capturing long-range dependencies (CNN-based) or encounter quadratic computational complexities (Transformer-based), which limit their performance. Recently, the State Space Model (SSM) with selective scanning mechanism (S6), exemplified by Mamba, has emerged as a superior alternative in various vision tasks compared to traditional CNN- and Transformer-based approaches, benefiting from its effective long-range sequence modeling capability and linear-time complexity. Therefore, integrating S6 into LFSR becomes compelling, especially considering the vast data volume of 4D light fields. However, the primary challenge lies in \emph{designing an appropriate scanning method for 4D light fields that effectively models light field features}. To tackle this, we employ SSMs on the informative 2D slices of 4D LFs to fully explore spatial contextual information, complementary angular information, and structure information. To achieve this, we carefully devise a basic SSM block characterized by an efficient SS2D mechanism that facilitates more effective and efficient feature learning on these 2D slices. Based on the above two designs, we further introduce an SSM-based network for LFSR termed LFMamba. Experimental results on LF benchmarks demonstrate the superior performance of LFMamba. Furthermore, extensive ablation studies are conducted to validate the efficacy and generalization ability of our proposed method. We expect that our LFMamba shed light on effective representation learning of LFs with state space models.
• Abstract（参考訳）: 近年、現代のニューラルネットワークの進歩により、光磁場画像の超解像(LFSR)が著しく進歩している。 しかしながら、これらの手法は、長距離依存(CNNベース)を捉えることや、2次計算複雑性(Transformerベース)に遭遇し、性能を制限している場合が多い。 近年,マンバが実証した選択的走査機構(S6)を備えた状態空間モデル(SSM)が,従来のCNNやTransformerベースのアプローチと比較して,様々な視覚タスクにおいて優れた代替手段として登場し,その有効長範囲シーケンスモデリング機能と線形時間複雑性の恩恵を受けている。 したがって、S6をLFSRに統合することは、特に4次元光フィールドの膨大なデータ量を考えると、魅力的になる。 しかし、主な課題は、光場特徴を効果的にモデル化する4次元光場に対する適切な走査法を \emph{designing で設計することである。 これを解決するために,4次元LFの2次元スライス情報にSSMを用い,空間的文脈情報,補的角情報,構造情報について検討する。 そこで我々は,これらの2次元スライスにおいて,より効率的かつ効率的な特徴学習を容易にする,効率的なSS2D機構を特徴とする基本SSMブロックを慎重に考案した。 上記の2つの設計に基づいて,LFMambaと呼ばれるLFSRのためのSSMベースのネットワークをさらに導入する。 LFベンチマーク実験の結果, LFMambaの性能は良好であった。 さらに,提案手法の有効性と一般化性を検証するため,広範囲にわたるアブレーション研究を行った。 LFMambaは、状態空間モデルによるLFの効果的な表現学習に光を当てていると期待している。

関連論文リスト

• Spatial-Mamba: Effective Visual State Space Models via Structure-Aware State Fusion [46.82975707531064]
  SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。 本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。 画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
  論文  参考訳（メタデータ） (2024-10-19T12:56:58Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• Mamba-based Light Field Super-Resolution with Efficient Subspace Scanning [48.99361249764921]
  4次元光場(LF)超解像において,トランスフォーマー法は優れた性能を示した。 しかし、その二次的な複雑さは、高解像度の4D入力の効率的な処理を妨げる。 我々は,効率的な部分空間走査戦略を設計し,マンバをベースとした光場超解法 MLFSR を提案する。
  論文  参考訳（メタデータ） (2024-06-23T11:28:08Z)
• Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging [102.35787741640749]
  本稿では,グローバルな長距離依存関係と局所的コンテキストの両方を探索し,効率的なHSI再構成を実現するために,DHM(Dual Hyperspectral Mamba)を提案する。 具体的には、DHMは複数の双対超スペクトルS4ブロック(DHSB)から構成され、元のHSIを復元する。
  論文  参考訳（メタデータ） (2024-06-01T14:14:40Z)
• RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing [19.89130165954241]
  リモートセンシング画像デハージング(RSID)は、高品質な画像復元のための不均一かつ物理的に不規則なヘイズ要素を取り除くことを目的としている。 本稿では,RSID分野におけるRSDhambaと呼ばれるマンバモデル上での最初の軽量ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-16T12:12:07Z)
• MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection [53.03687787922032]
  長距離モデリングと線形効率の優れたマンバモデルが注目されている。 MambaADは、事前訓練されたエンコーダと(Locality-Enhanced State Space)LSSモジュールをマルチスケールで備えたMambaデコーダで構成されている。 提案したLSSモジュールは、並列カスケード(Hybrid State Space) HSSブロックとマルチカーネル畳み込み操作を統合し、長距離情報とローカル情報の両方を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-04-09T18:28:55Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。