論文の概要: MatMamba: A Matryoshka State Space Model

• arxiv url: http://arxiv.org/abs/2410.06718v1
• Date: Wed, 9 Oct 2024 09:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 04:00:11.273917
• Title: MatMamba: A Matryoshka State Space Model
• Title（参考訳）: MatMamba:Matryoshka State Space Model
• Authors: Abhinav Shukla, Sai Vemprala, Aditya Kusupati, Ashish Kapoor,
• Abstract要約: MatMambaはMatryoshkaスタイルの学習とMamba2を組み合わせた状態空間モデルである。 MatMambaは、様々なモデルサイズにまたがる効率的で適応的なデプロイメントを可能にする。 言語モデルと画像モデルは,35Mから1.4Bまでのパラメータサイズで訓練する。
• 参考スコア（独自算出の注目度）: 24.85566171753877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State Space Models (SSMs) like Mamba2 are a promising alternative to Transformers, with faster theoretical training and inference times -- especially for long context lengths. Recent work on Matryoshka Representation Learning -- and its application to Transformer backbones in works like MatFormer -- showed how to introduce nested granularities of smaller submodels in one universal elastic model. In this work, we present MatMamba: a state space model which combines Matryoshka-style learning with Mamba2, by modifying the block to contain nested dimensions to enable joint training and adaptive inference. MatMamba allows for efficient and adaptive deployment across various model sizes. We train a single large MatMamba model and are able to get a number of smaller nested models for free -- while maintaining or improving upon the performance of a baseline smaller model trained from scratch. We train language and image models at a variety of parameter sizes from 35M to 1.4B. Our results on ImageNet and FineWeb show that MatMamba models scale comparably to Transformers, while having more efficient inference characteristics. This makes MatMamba a practically viable option for deploying large-scale models in an elastic way based on the available inference compute. Code and models are open sourced at \url{https://github.com/ScaledFoundations/MatMamba}
• Abstract（参考訳）: Mamba2のような状態空間モデル(SSM)はトランスフォーマーの有望な代替であり、より高速な理論的なトレーニングと推論時間 -- 特に長いコンテキスト長について。Matryoshka Representation Learningに関する最近の研究 -- と、MatFormerのような作品におけるTransformerのバックボーンへの適用 -- は、小さなサブモデルのネストした粒度を1つの普遍弾性モデルに導入する方法を示している。 本研究では,Materyoshka型学習をMatryoshka型学習と組み合わせた状態空間モデルであるMatMambaを提案する。 MatMambaは、様々なモデルサイズにまたがる効率的で適応的なデプロイメントを可能にする。 1つの大きなMatMambaモデルをトレーニングし、スクラッチからトレーニングされたベースラインの小さなモデルのパフォーマンスを維持したり改善したりしながら、多数の小さなネストモデルの無償提供を可能にします。 言語モデルと画像モデルは,35Mから1.4Bまでのパラメータサイズで訓練する。 ImageNet と FineWeb で得られた結果から,MatMamba モデルはより効率的な推論特性を有しつつ,Transformers に相容れないスケールを示した。 これにより、MatMambaは利用可能な推論計算に基づいて、大規模モデルを弾力的にデプロイするための事実上実行可能な選択肢となります。 コードとモデルは、 \url{https://github.com/ScaledFoundations/MatMamba} でオープンソース化される

関連論文リスト

• Starbucks: Improved Training for 2D Matryoshka Embeddings [32.44832240958393]
  我々は,Matryoshkaライクな埋め込みモデルの新たなトレーニング戦略であるStarbucksを提案する。 微調整相について、我々は、小さなサイズから大きなサイズの層次元対の固定されたリストを提供する。 また,サブレイヤとサブディメンジョンにマスク付きオートエンコーダ言語モデリングを適用する,新しい事前学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-10-17T05:33:50Z)
• Scalable Autoregressive Image Generation with Mamba [23.027439743155192]
  本稿では,マンバアーキテクチャに基づく自己回帰(AR)画像生成モデルであるAiMを紹介する。 Mamba(マンバ)は、線形時間による長周期モデリングに特有な性能を特徴とする、新しい状態空間モデルである。 パラメータ数は128Mから1.3Bまで様々である。
  論文  参考訳（メタデータ） (2024-08-22T09:27:49Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• CLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian Evaluation [18.383760896304604]
  本報告では,コントラッシブ・テクニカル・イメージ・プレトレーニング(CLIP)を利用したMambaモデルをトレーニングする最初の試みを紹介する。 Mambaモデル67万のパラメータは、ゼロショット分類タスクにおけるビジョントランスフォーマー(ViT)モデルと同等である。
  論文  参考訳（メタデータ） (2024-04-30T09:40:07Z)
• The Hidden Attention of Mamba Models [54.50526986788175]
  Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。 このようなモデルを注意駆動モデルとみなすことができる。 この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
  論文  参考訳（メタデータ） (2024-03-03T18:58:21Z)
• BlackMamba: Mixture of Experts for State-Space Models [10.209192169793772]
  状態空間モデル(SSM)は、最近、大規模な言語モデリングベンチマークでトランスフォーマーと競合する性能を示した。 MoEモデルは、計算コストと遅延コストを大幅に削減しながら、顕著なパフォーマンスを示している。 我々は,Mamba SSMとMoEを組み合わせた新しいアーキテクチャであるBlackMambaを紹介した。
  論文  参考訳（メタデータ） (2024-02-01T07:15:58Z)
• MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
  MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。 また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。