論文の概要: MambaSCI: Efficient Mamba-UNet for Quad-Bayer Patterned Video Snapshot Compressive Imaging

• arxiv url: http://arxiv.org/abs/2410.14214v1
• Date: Fri, 18 Oct 2024 07:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:25.914019
• Title: MambaSCI: Efficient Mamba-UNet for Quad-Bayer Patterned Video Snapshot Compressive Imaging
• Title（参考訳）: MambaSCI:Quad-Bayerパターンビデオスナップショット圧縮イメージングのための効率的なMamba-UNet
• Authors: Zhenghao Pan, Haijin Zeng, Jiezhang Cao, Yongyong Chen, Kai Zhang, Yong Xu,
• Abstract要約: 既存のカラービデオSCI再構成アルゴリズムは、従来のベイアパターンに基づいて設計されている。 MambaSCIは計算コストとメモリコストの削減で最先端の手法を超越している。
• 参考スコア（独自算出の注目度）: 23.69262715870974
• License:
• Abstract: Color video snapshot compressive imaging (SCI) employs computational imaging techniques to capture multiple sequential video frames in a single Bayer-patterned measurement. With the increasing popularity of quad-Bayer pattern in mainstream smartphone cameras for capturing high-resolution videos, mobile photography has become more accessible to a wider audience. However, existing color video SCI reconstruction algorithms are designed based on the traditional Bayer pattern. When applied to videos captured by quad-Bayer cameras, these algorithms often result in color distortion and ineffective demosaicing, rendering them impractical for primary equipment. To address this challenge, we propose the MambaSCI method, which leverages the Mamba and UNet architectures for efficient reconstruction of quad-Bayer patterned color video SCI. To the best of our knowledge, our work presents the first algorithm for quad-Bayer patterned SCI reconstruction, and also the initial application of the Mamba model to this task. Specifically, we customize Residual-Mamba-Blocks, which residually connect the Spatial-Temporal Mamba (STMamba), Edge-Detail-Reconstruction (EDR) module, and Channel Attention (CA) module. Respectively, STMamba is used to model long-range spatial-temporal dependencies with linear complexity, EDR is for better edge-detail reconstruction, and CA is used to compensate for the missing channel information interaction in Mamba model. Experiments demonstrate that MambaSCI surpasses state-of-the-art methods with lower computational and memory costs. PyTorch style pseudo-code for the core modules is provided in the supplementary materials.
• Abstract（参考訳）: カラービデオスナップショット圧縮イメージング(SCI)は、複数のシーケンシャルなビデオフレームを1つのベイアパターンの測定で捉えるために、計算画像技術を使用している。 メインストリームのスマートフォンカメラでは高解像度のビデオを撮影するためのクアッドバイヤーパターンの人気が高まっているため、モバイル写真はより広く利用できるようになった。 しかし、既存のカラービデオSCI再構成アルゴリズムは、従来のベイアパターンに基づいて設計されている。 クアッドバイヤーカメラが捉えたビデオに適用すると、これらのアルゴリズムは色歪みと非効率な復調をもたらすことが多く、プライマリ機器には実用的ではない。 この課題に対処するために、MambaとUNetアーキテクチャを活用してクワッドベイアパターンカラービデオSCIの効率的な再構成を行うMambaSCI法を提案する。 我々の知る限り、我々の研究はクワッドベイアパターンのSCI再構成のための最初のアルゴリズムを示し、また、このタスクにMambaモデルの初期適用も行っている。 具体的には,Spatial-Temporal Mamba (STMamba), Edge-Detail-Reconstruction (EDR)モジュール,Channel Attention (CA)モジュールを接続するResidual-Mamba-Blocksをカスタマイズする。 STMamba は線形複雑性を伴う長距離時空間依存性のモデル化に使用され、EDR はエッジ-詳細再構成に用いられ、CA はマンバモデルにおけるチャネル情報相互作用の欠如を補うために用いられる。 実験により、MambaSCIは計算コストとメモリコストが低い最先端の手法を超越していることが示された。 補助材料にコアモジュール用のPyTorchスタイルの擬似コードを提供する。

関連論文リスト

• MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation [63.73137438677585]
  MaskMambaは、MambaとTransformerアーキテクチャを組み合わせた新しいハイブリッドモデルである。 トランスフォーマーよりも2048時間2048ドルという解像度で、推論速度が54.44%向上した。
  論文  参考訳（メタデータ） (2024-09-30T04:28:55Z)
• Distillation-free Scaling of Large SSMs for Images and Videos [27.604572990625144]
  状態空間モデル(SSM)は、状態空間の技術を深層学習に組み込むことにより、新しい文脈モデリング手法を導入した。 マンバベースのアーキテクチャは、パラメータの数に関してスケールが難しいため、ビジョンアプリケーションにとって大きな制限となる。 本稿では,拡張性,堅牢性,性能を向上させるMamba-Attentionインターリーブアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-09-18T10:48:10Z)
• Scalable Autoregressive Image Generation with Mamba [23.027439743155192]
  本稿では,マンバアーキテクチャに基づく自己回帰(AR)画像生成モデルであるAiMを紹介する。 Mamba(マンバ)は、線形時間による長周期モデリングに特有な性能を特徴とする、新しい状態空間モデルである。 パラメータ数は128Mから1.3Bまで様々である。
  論文  参考訳（メタデータ） (2024-08-22T09:27:49Z)
• DemMamba: Alignment-free Raw Video Demoireing with Frequency-assisted Spatio-Temporal Mamba [18.06907326360215]
  周波数アシスト時間型マンバ(DemMamba)を用いたアライメントレスRawビデオ復調ネットワークを提案する。 提案したMoiMambaは1.3dBの最先端アプローチを超越し、優れた視覚体験を提供する。
  論文  参考訳（メタデータ） (2024-08-20T09:31:03Z)
• VideoMamba: Spatio-Temporal Selective State Space Model [18.310796559944347]
  VideoMambaは、ビデオ認識用に特別に設計された純粋なMambaアーキテクチャの斬新な適応である。 VideoMambaは、リソース効率だけでなく、ビデオの長距離依存性のキャプチャにも有効だ。 我々の研究は、ビデオ理解のための強力なツールとしてのVideoMambaの可能性を強調し、ビデオ分析における将来の研究のための、シンプルだが効果的なベースラインを提供する。
  論文  参考訳（メタデータ） (2024-07-11T13:11:21Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
  ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。 Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
  論文  参考訳（メタデータ） (2024-03-26T16:27:37Z)
• Event-guided Multi-patch Network with Self-supervision for Non-uniform Motion Deblurring [113.96237446327795]
  本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。 また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。 我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
  論文  参考訳（メタデータ） (2023-02-14T15:58:00Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
  ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。 本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
  論文  参考訳（メタデータ） (2021-03-04T15:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。