論文の概要: CLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian Evaluation

• arxiv url: http://arxiv.org/abs/2404.19394v1
• Date: Tue, 30 Apr 2024 09:40:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:44:46.025735
• Title: CLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian Evaluation
• Title（参考訳）: CLIP-Mamba:OODおよびHessianによるCLIP事前訓練マンバモデル
• Authors: Weiquan Huang, Yifei Shen, Yifan Yang,
• Abstract要約: 本報告では,コントラッシブ・テクニカル・イメージ・プレトレーニング(CLIP)を利用したMambaモデルをトレーニングする最初の試みを紹介する。 Mambaモデル67万のパラメータは、ゼロショット分類タスクにおけるビジョントランスフォーマー(ViT)モデルと同等である。
• 参考スコア（独自算出の注目度）: 18.383760896304604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State space models and Mamba-based models have been increasingly applied across various domains, achieving state-of-the-art performance. This technical report introduces the first attempt to train a transferable Mamba model utilizing contrastive language-image pretraining (CLIP). We have trained Mamba models of varying sizes and undertaken comprehensive evaluations of these models on 26 zero-shot classification datasets and 16 out-of-distribution (OOD) datasets. Our findings reveal that a Mamba model with 67 million parameters is on par with a 307 million-parameter Vision Transformer (ViT) model in zero-shot classification tasks, highlighting the parameter efficiency of Mamba models. In tests of OOD generalization, Mamba-based models exhibit exceptional performance in conditions of OOD image contrast or when subjected to high-pass filtering. However, a Hessian analysis indicates that Mamba models feature a sharper and more non-convex landscape compared to ViT-based models, making them more challenging to train. The source code is available at https://github.com/raytrun/mamba-clip.
• Abstract（参考訳）: 状態空間モデルとマンバベースのモデルは様々な領域にまたがって適用され、最先端のパフォーマンスを実現している。 本技術報告では,コントラッシブ言語画像事前学習(CLIP)を用いて,転送可能なマンバモデルをトレーニングする最初の試みを紹介する。 さまざまなサイズのMambaモデルをトレーニングし,26のゼロショット分類データセットと16のアウト・オブ・ディストリビューション(OOD)データセットを用いて,これらのモデルの包括的評価を行った。 その結果,6700万パラメータを持つMambaモデルは,ゼロショット分類タスクにおける3700万パラメータビジョン変換器(ViT)モデルと同等であり,Mambaモデルのパラメータ効率を強調した。 OOD一般化の試験では、マンバモデルでは、OOD画像コントラストの条件やハイパスフィルタリングの条件下では例外的な性能を示す。 しかし、Hessian分析によれば、MambaモデルはViTベースのモデルに比べて、よりシャープで非凸の風景が特徴であり、訓練がより困難である。 ソースコードはhttps://github.com/raytrun/mamba-clip.comで入手できる。

関連論文リスト

• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留することが可能であることを示す。 その結果、注意層を4分の1含むハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• A Survey of Mamba [27.939712558507516]
  近年,基礎モデル構築の代替手段として,Mambaという新しいアーキテクチャが登場している。 本研究では,マンバモデルの発展,多様なデータにマンバを適応させる技術,およびマンバが優れている応用について検討する。
  論文  参考訳（メタデータ） (2024-08-02T09:18:41Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Vision Mamba for Classification of Breast Ultrasound Images [9.90112908284836]
  MambaベースのモデルであるVMambaとVimは、最近のビジョンエンコーダのファミリーであり、多くのコンピュータビジョンタスクで有望なパフォーマンス改善を提供する。 本稿では,乳房超音波BUSIデータセットと乳房超音波Bデータセットを用いて,マンバモデルと従来の畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)を比較した。
  論文  参考訳（メタデータ） (2024-07-04T00:21:47Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• The Hidden Attention of Mamba Models [54.50526986788175]
  Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。 このようなモデルを注意駆動モデルとみなすことができる。 この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
  論文  参考訳（メタデータ） (2024-03-03T18:58:21Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)
• MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts [4.293771840782942]
  状態空間モデル(SSM)は、シーケンシャルモデリングの分野において真剣な競争者となっている。 MoEは、最近の最先端のオープンモデルを含むトランスフォーマーベースの大規模言語モデルを大幅に改善した。 スケーリングのためのSSMの可能性を解き放つためには、MoEと組み合わせるべきである。
  論文  参考訳（メタデータ） (2024-01-08T18:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。