論文の概要: SparX: A Sparse Cross-Layer Connection Mechanism for Hierarchical Vision Mamba and Transformer Networks

• arxiv url: http://arxiv.org/abs/2409.09649v2
• Date: Fri, 20 Dec 2024 12:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:20:32.450591
• Title: SparX: A Sparse Cross-Layer Connection Mechanism for Hierarchical Vision Mamba and Transformer Networks
• Title（参考訳）: SparX:階層型視覚マンバとトランスフォーマーネットワークのためのスパースクロスレイア接続機構
• Authors: Meng Lou, Yunxiang Fu, Yizhou Yu,
• Abstract要約: 本稿では,視覚バックボーンネットワークのための効率的な層間特徴集約機構を提案する。 ヒト視覚系における網膜ガングリオン細胞(RGC)にインスパイアされ、SparXと呼ばれる新しいスパース層間結合機構を提案する。 我々の新しい接続機構は、様々な視覚タスクにおいて優れた性能と一般化能力を持つ。
• 参考スコア（独自算出の注目度）: 45.68176825375723
• License:
• Abstract: Due to the capability of dynamic state space models (SSMs) in capturing long-range dependencies with linear-time computational complexity, Mamba has shown notable performance in NLP tasks. This has inspired the rapid development of Mamba-based vision models, resulting in promising results in visual recognition tasks. However, such models are not capable of distilling features across layers through feature aggregation, interaction, and selection. Moreover, existing cross-layer feature aggregation methods designed for CNNs or ViTs are not practical in Mamba-based models due to high computational costs. Therefore, this paper aims to introduce an efficient cross-layer feature aggregation mechanism for vision backbone networks. Inspired by the Retinal Ganglion Cells (RGCs) in the human visual system, we propose a new sparse cross-layer connection mechanism termed SparX to effectively improve cross-layer feature interaction and reuse. Specifically, we build two different types of network layers: ganglion layers and normal layers. The former has higher connectivity and complexity, enabling multi-layer feature aggregation and interaction in an input-dependent manner. In contrast, the latter has lower connectivity and complexity. By interleaving these two types of layers, we design a new family of vision backbone networks with sparsely cross-connected layers, achieving an excellent trade-off among model size, computational cost, memory cost, and accuracy in comparison to its counterparts. For instance, with fewer parameters, SparX-Mamba-T improves the top-1 accuracy of VMamba-T from 82.5\% to 83.5\%, while SparX-Swin-T achieves a 1.3\% increase in top-1 accuracy compared to Swin-T. Extensive experimental results demonstrate that our new connection mechanism possesses both superior performance and generalization capabilities on various vision tasks.
• Abstract（参考訳）: 動的状態空間モデル(SSM)の線形時間計算複雑性による長距離依存性の捕捉能力のため、Mamba は NLP タスクにおいて顕著な性能を示した。 これは、マンバをベースとした視覚モデルが急速に発展し、視覚認識タスクに有望な結果をもたらした。 しかし、このようなモデルでは、特徴集約、相互作用、選択を通じて層間の特徴を蒸留することはできない。 さらに,CNN や ViT 向けに設計された既存のクロス層機能集約手法は,計算コストが高いため,マンバベースモデルでは実用的ではない。 そこで本研究では,視覚バックボーンネットワークのための効率的な層間特徴集約機構を提案する。 ヒト視覚系における網膜ガングリオン細胞(RGC)にインスパイアされ、SparXと呼ばれる新しい疎層接続機構を提案し、層間機能相互作用と再利用を効果的に改善する。 具体的には、ガングリオン層と通常の層という、2つの異なるタイプのネットワーク層を構築します。 前者は接続性と複雑さが高く、入力依存の方法で多層機能アグリゲーションと相互作用を可能にする。 対照的に、後者は接続性や複雑さが低い。 これら2種類の層をインターリーブすることにより、モデルサイズ、計算コスト、メモリコスト、精度に優れたトレードオフを実現し、疎結合層を有する新しいビジョンバックボーンネットワークを設計する。 例えば、パラメータが少ない場合、SparX-Mamba-TはVMamba-Tのトップ1の精度を82.5\%から83.5\%に改善し、SparX-Swin-TはSwin-Tと比較してトップ1の精度を1.3\%向上させる。 我々の新しい接続機構は、様々な視覚タスクにおいて優れた性能と一般化能力を持つことを示した。

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Mamba-Spike: Enhancing the Mamba Architecture with a Spiking Front-End for Efficient Temporal Data Processing [4.673285689826945]
  Mamba-Spikeは、スパイクするフロントエンドとMambaのバックボーンを統合して、効率的な時間的データ処理を実現する新しいニューロモルフィックアーキテクチャである。 このアーキテクチャは、最先端のベースラインを一貫して上回り、高い精度、低いレイテンシ、エネルギー効率の向上を実現している。
  論文  参考訳（メタデータ） (2024-08-04T14:10:33Z)
• Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
  本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。 MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。 3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-20T13:19:02Z)
• Integrating Mamba Sequence Model and Hierarchical Upsampling Network for Accurate Semantic Segmentation of Multiple Sclerosis Legion [0.0]
  我々は,堅牢で効率的なセグメンテーションタスクに適した新しいアーキテクチャであるMamba HUNetを紹介する。 私たちはまず、HUNetを軽量バージョンに変換し、パフォーマンスの同等性を保ち、この軽量版HUNetをMamba HUNetに統合し、その効率をさらに向上した。 特に多発性硬化症病変のセグメンテーションでは,Mamba HUNetが様々なセグメンテーションタスクで有効であることが示されている。
  論文  参考訳（メタデータ） (2024-03-26T06:57:50Z)
• EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba [19.062950348441426]
  本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。 我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。 実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T02:48:47Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Progressive Multi-stage Interactive Training in Mobile Network for Fine-grained Recognition [8.727216421226814]
  再帰型モザイク発電機(RMG-PMSI)を用いたプログレッシブ多段階インタラクティブトレーニング手法を提案する。 まず、異なる位相の異なる画像を生成する再帰モザイク発生器(RMG)を提案する。 次に、異なるステージの特徴は、異なるステージの対応する特徴を強化し補完するマルチステージインタラクション(MSI)モジュールを通過する。 RMG-PMSIは高い堅牢性と伝達性で性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-12-08T10:50:03Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。