論文の概要: BlackMamba: Mixture of Experts for State-Space Models
- arxiv url: http://arxiv.org/abs/2402.01771v1
- Date: Thu, 1 Feb 2024 07:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 02:18:25.832397
- Title: BlackMamba: Mixture of Experts for State-Space Models
- Title（参考訳）: BlackMamba: ステートスペースモデルの専門家の混在
- Authors: Quentin Anthony, Yury Tokpanov, Paolo Glorioso, Beren Millidge
- Abstract要約: 状態空間モデル(SSM)は、最近、大規模な言語モデリングベンチマークでトランスフォーマーと競合する性能を示した。
MoEモデルは、計算コストと遅延コストを大幅に削減しながら、顕著なパフォーマンスを示している。
我々は,Mamba SSMとMoEを組み合わせた新しいアーキテクチャであるBlackMambaを紹介した。
- 参考スコア（独自算出の注目度）: 10.209192169793772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-space models (SSMs) have recently demonstrated competitive performance
to transformers at large-scale language modeling benchmarks while achieving
linear time and memory complexity as a function of sequence length. Mamba, a
recently released SSM model, shows impressive performance in both language
modeling and long sequence processing tasks. Simultaneously, mixture-of-expert
(MoE) models have shown remarkable performance while significantly reducing the
compute and latency costs of inference at the expense of a larger memory
footprint. In this paper, we present BlackMamba, a novel architecture that
combines the Mamba SSM with MoE to obtain the benefits of both. We demonstrate
that BlackMamba performs competitively against both Mamba and transformer
baselines, and outperforms in inference and training FLOPs. We fully train and
open-source 340M/1.5B and 630M/2.8B BlackMamba models on 300B tokens of a
custom dataset. We show that BlackMamba inherits and combines both of the
benefits of SSM and MoE architectures, combining linear-complexity generation
from SSM with cheap and fast inference from MoE. We release all weights,
checkpoints, and inference code open-source. Inference code at:
https://github.com/Zyphra/BlackMamba
- Abstract（参考訳）: 状態空間モデル(ssms)は最近、大規模な言語モデリングベンチマークでトランスフォーマーの競合性能を実証し、シーケンス長の関数として線形時間とメモリ複雑性を達成している。
最近リリースされたSSMモデルであるMambaは、言語モデリングと長いシーケンス処理の両方で素晴らしいパフォーマンスを示している。
同時に、mixed-of-expert(moe)モデルは、より大きなメモリフットプリントを犠牲にして推論の計算コストとレイテンシコストを大幅に削減しながら、驚くべきパフォーマンスを示している。
本稿では,Mamba SSMとMoEを組み合わせた新しいアーキテクチャであるBlackMambaについて述べる。
我々は,BlackMambaがマンバベースラインとトランスフォーマーベースラインの両方に対して競争力を発揮することを示した。
カスタムデータセットの300Bトークン上で,340M/1.5Bと630M/2.8BのBlackMambaモデルを完全にトレーニングし,オープンソースにしています。
我々はBlackMambaがSSMとMoEアーキテクチャの両方の利点を継承し結合し、SSMからの線形複雑度生成とMoEからの安価かつ高速な推論を組み合わせたことを示す。
すべての重み、チェックポイント、推論コードをオープンソースでリリースしています。
推論コード: https://github.com/zyphra/blackmamba
関連論文リスト
- Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。
本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。
マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
論文 参考訳（メタデータ） (2025-01-27T18:35:05Z) - U-Mamba-Net: A highly efficient Mamba-based U-net style network for noisy and reverberant speech separation [0.0]
複雑な環境下での音声分離のための軽量なマンバベースUスタイルモデルU-mamba-netを提案する。
Mambaは、特徴選択機能を組み込んだ状態空間シーケンスモデルである。Uスタイルのネットワークは、対称収縮と拡張パスがマルチ解像度機能を学ぶことができる完全な畳み込みニューラルネットワークである。
論文 参考訳（メタデータ） (2024-12-24T06:51:21Z) - Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。
本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
論文 参考訳（メタデータ） (2024-12-21T13:43:51Z) - MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。
効率と性能のバランスをとるMobileMambaフレームワークを提案する。
MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文 参考訳（メタデータ） (2024-11-24T18:01:05Z) - Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - Bi-Mamba: Towards Accurate 1-Bit State Space Models [28.478762133816726]
Bi-Mambaは、より効率的な大規模言語モデルのために設計されたスケーラブルでパワフルな1ビットのMambaアーキテクチャである。
Bi-Mambaは完全な精度(FP16やBF16など)に匹敵するパフォーマンスを実現し、ポストトレーニングバイナリ化(PTB)のMambaベースラインよりもはるかに精度が高い。
論文 参考訳（メタデータ） (2024-11-18T18:59:15Z) - LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。
このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。
ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
論文 参考訳（メタデータ） (2024-08-05T16:39:39Z) - SiMBA: Simplified Mamba-Based Architecture for Vision and Multivariate Time series [2.4379295576598436]
我々は,特定の固有値計算によるチャネルモデリングのためのEinstein FFT(EinFFT)を導入し,シーケンスモデリングにMambaブロックを用いる新しいアーキテクチャであるSiMBAを提案する。
SiMBAは既存のSSMよりも優れており、最先端の変換器と性能のギャップを埋めている。
論文 参考訳（メタデータ） (2024-03-22T17:22:56Z) - ZigMa: A DiT-style Zigzag Mamba Diffusion Model [22.68317748373856]
我々は、Mambaと呼ばれる状態空間モデルの長いシーケンスモデリング機能を活用し、その視覚データ生成への適用性を高めることを目指している。
我々は,Zigzag Mamba という,シンプルな,プラグアンドプレイのゼロパラメータ法を導入し,Mamba ベースのベースラインを上回ります。
Zigzag Mamba と Interpolant フレームワークを統合し,大規模なビジュアルデータセット上でのモデルのスケーラビリティについて検討する。
論文 参考訳（メタデータ） (2024-03-20T17:59:14Z) - MambaByte: Token-free Selective State Space Model [71.90159903595514]
マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。
MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
論文 参考訳（メタデータ） (2024-01-24T18:53:53Z) - MoE-Mamba: Efficient Selective State Space Models with Mixture of
Experts [4.293771840782942]
状態空間モデル(SSM)は、シーケンシャルモデリングの分野において真剣な競争者となっている。
MoEは、最近の最先端のオープンモデルを含むトランスフォーマーベースの大規模言語モデルを大幅に改善した。
スケーリングのためのSSMの可能性を解き放つためには、MoEと組み合わせるべきである。
論文 参考訳（メタデータ） (2024-01-08T18:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。