論文の概要: Autoregressive Pretraining with Mamba in Vision

• arxiv url: http://arxiv.org/abs/2406.07537v1
• Date: Tue, 11 Jun 2024 17:58:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:26:16.208153
• Title: Autoregressive Pretraining with Mamba in Vision
• Title（参考訳）: Mamba in Vision を用いた自己回帰予備訓練
• Authors: Sucheng Ren, Xianhang Li, Haoqin Tu, Feng Wang, Fangxun Shu, Lei Zhang, Jieru Mei, Linjie Yang, Peng Wang, Heng Wang, Alan Yuille, Cihang Xie,
• Abstract要約: 本稿では,マンバの視覚能力が自己回帰前訓練によって著しく向上できることを示す。 パフォーマンス面では、自動回帰事前訓練は、Mambaアーキテクチャを極めて高い精度で装備する。 大きめのMambaは、384時間384ドルの入力で微調整すると、画像ネットの精度が85.0%に達します。
• 参考スコア（独自算出の注目度）: 45.25546594814871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vision community has started to build with the recently developed state space model, Mamba, as the new backbone for a range of tasks. This paper shows that Mamba's visual capability can be significantly enhanced through autoregressive pretraining, a direction not previously explored. Efficiency-wise, the autoregressive nature can well capitalize on the Mamba's unidirectional recurrent structure, enabling faster overall training speed compared to other training strategies like mask modeling. Performance-wise, autoregressive pretraining equips the Mamba architecture with markedly higher accuracy over its supervised-trained counterparts and, more importantly, successfully unlocks its scaling potential to large and even huge model sizes. For example, with autoregressive pretraining, a base-size Mamba attains 83.2\% ImageNet accuracy, outperforming its supervised counterpart by 2.0\%; our huge-size Mamba, the largest Vision Mamba to date, attains 85.0\% ImageNet accuracy (85.5\% when finetuned with $384\times384$ inputs), notably surpassing all other Mamba variants in vision. The code is available at \url{https://github.com/OliverRensu/ARM}.
• Abstract（参考訳）: ビジョンコミュニティは、最近開発された状態空間モデルであるMambaを使って、さまざまなタスクのための新しいバックボーンとして構築し始めている。 本稿は,マンバの視覚能力が自己回帰前訓練によって著しく向上できることを示し,これまで検討されなかった方向を示す。 効率面では、自己回帰的な性質はマンバの一方向のリカレント構造をうまく活用することができ、マスクモデリングのような他のトレーニング戦略と比較して、全体的なトレーニング速度を速くすることができる。 パフォーマンス面では、自動回帰事前トレーニングは、教師付きトレーニングされたアーキテクチャよりもはるかに高い精度でMambaアーキテクチャを装備し、さらに重要なことに、そのスケーリング能力を大規模で巨大なモデルサイズにアンロックすることに成功した。 例えば、自動回帰事前トレーニングでは、ベースサイズのMambaが83.2\%のImageNet精度を達成し、監督対象のMambaを2.0\%で上回り、我々の巨大なMambaは、これまでで最大のVision Mambaであり、85.0\%のImageNet精度(384\times384$の入力で微調整された場合の85.5\%)を達成している。 コードは \url{https://github.com/OliverRensu/ARM} で公開されている。

関連論文リスト

• MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining [23.37555991996508]
  本稿では,Masked Autoregressive Pretraining (MAP) を提案する。 MAPで事前学習したMambaアーキテクチャとハイブリッドMamba-Transformerビジョンバックボーンネットワークが,他の事前学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-01T17:05:08Z)
• MambaMIM: Pre-training Mamba with State Space Token-interpolation [14.343466340528687]
  選択構造状態空間補間(S6T)に基づくMamba(MambaMIM)の自己教師型学習手法を提案する。 MambaMIMは、Mambaの長距離表現能力を向上するために、任意の単一またはハイブリッドのMambaアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• Mamba-R: Vision Mamba ALSO Needs Registers [45.41648622999754]
  ビジョントランスフォーマーと同様に、視覚マンバの特徴マップにも存在しているアーティファクトを識別する。 これらのアーティファクトは、画像の低情報背景領域に出現するハイノームトークンに対応しており、Vision Mambaではより深刻に見えます。 この問題を緩和するために、私たちはVision Mambaにレジスタトークンを導入するという以前のソリューションに従います。
  論文  参考訳（メタデータ） (2024-05-23T17:58:43Z)
• MambaOut: Do We Really Need Mamba for Vision? [70.60495392198686]
  状態空間モデル(SSM)のRNNライクなトークンミキサーを備えたアーキテクチャであるMambaが最近導入され、注意機構の2次複雑さに対処した。 本論文は,マンバが長周期および自己回帰特性を有するタスクに理想的に適していることを概念的に結論づける。 我々は,コアトークンミキサーであるSSMを除去しながら,Mambaブロックを積み重ねることで,MambaOutという名前の一連のモデルを構築する。
  論文  参考訳（メタデータ） (2024-05-13T17:59:56Z)
• Visual Mamba: A Survey and New Outlooks [33.90213491829634]
  最近の選択的構造化状態空間モデルであるMambaは、ロングシーケンスモデリングにおいて優れている。 2024年1月以降、マンバは多様なコンピュータビジョンタスクに積極的に適用されてきた。 本稿では,200以上の論文を分析し,マンバの視覚的アプローチを概観する。
  論文  参考訳（メタデータ） (2024-04-29T16:51:30Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。