論文の概要: TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

• arxiv url: http://arxiv.org/abs/2610.20682v1
• Date: Wed, 14 Oct 2026 16:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.979622
• Title: TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
• Title（参考訳）: TurboMamba: 推論の高速化、トレーニングの高速化、語彙記憶による予測の高速化
• Abstract要約: TurboMambaは、推論の高速化、トレーニングの高速化、トークン予測の改善のための言語モデルアーキテクチャである。 パブリックなFineWeb-Edu上での12の小規模実装を比較した。 TurboMambaは12モデルの中で最も低い平均テスト予測損失を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce TurboMamba, a language-model architecture for faster inference, faster training, and better token prediction. A global Mamba-3 model runs once per completed token block. A small Transformer uses this global context and earlier tokens within the block to predict the next token. Three lightweight additions improve local predictions: direct access to the previous block's last token, a small correction to next-token scores, and a learned mixture with recent-token frequencies. We compare twelve small-scale implementations on public FineWeb-Edu, with comparable parameter counts and shared training-budget caps. The baselines include Transformer, Mamba-3, Jamba, and Zamba. The Jamba and Zamba versions use Mamba-3 in place of their original Mamba modules. TurboMamba achieves the lowest mean test prediction loss (negative log-likelihood, NLL) among all twelve models. Its mean NLL is 9.4% lower than that of Mamba-3, 7.3% lower than that of the Jamba version, and 18.3% lower than that of the Zamba version. End-to-end training throughput is 2.60x that of Mamba-3, 2.81x that of the Jamba version, and 4.82x that of the Zamba version. We measure end-to-end batch latency for a batch of 32 sequences, each with a 256-token prompt and 128 generated tokens. On this workload, TurboMamba achieves a 3.12x speedup over Mamba-3, a 3.53x speedup over the Jamba version, and a 6.21x speedup over the Zamba version.
• Abstract（参考訳）: 高速な推論、高速なトレーニング、より良いトークン予測のための言語モデルアーキテクチャであるTurboMambaを紹介する。 グローバルなMamba-3モデルは、完了したトークンブロック毎に1回実行される。 小さなTransformerは、ブロック内のこのグローバルコンテキストと以前のトークンを使用して、次のトークンを予測する。 3つの軽量な追加により、ローカルな予測が改善される。前のブロックの最後のトークンへの直接アクセス、次のトーケンスコアへの小さな修正、最近のトーケン周波数と学習された混合である。 我々は、FineWeb-Eduの12の小規模実装と、同等のパラメータカウントと共有トレーニング予算キャップを比較した。 ベースラインはTransformer、Mamba-3、Jamba、Zamba。 Jamba と Zamba はオリジナルの Mamba モジュールの代わりに Mamba-3 を使用している。 TurboMambaは12モデルの中で最も低い平均テスト予測損失(負の対数類似度、NLL)を達成する。 NLLはMamba-3より9.4%低く、Jambaバージョンより7.3%低く、Zambaバージョンより18.3%低い。 エンドツーエンドのトレーニングスループットは、Mamba-3の2.60倍、Jambaバージョン2.81倍、Zambaバージョン4.82倍である。 バッチ32シーケンスのエンドツーエンドのバッチレイテンシを測定し,256トークンプロンプトと128トークンを生成した。 このワークロードでは、TurboMambaはMamba-3より3.12倍のスピードアップ、Jambaバージョンより3.53倍のスピードアップ、Zambaバージョンより6.21倍のスピードアップを達成した。

関連論文リスト

• Falcon Mamba: The First Competitive Attention-free 7B Language Model [6.506479726602082]
  本稿では,新しいMambaアーキテクチャに基づく新しいベースとなる大規模言語モデルであるFalcon Mamba 7Bを紹介する。 純粋なMambaベースのモデルとして、Falcon Mamba 7BはTransformersをベースにした主要なオープンウェイトモデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-07T15:40:45Z)
• Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis [18.68317727349427]
  Mambaがトランスフォーマーのより良い代替品だと結論付けるには早すぎる。 我々は,3つのタスクに対して,Mamba-TasNet,ConMamba,VALL-Mの3つのモデルを評価する。
  論文  参考訳（メタデータ） (2024-07-13T00:35:21Z)
• Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling [70.94320930424331]
  選択状態空間モデル(SSM)であるMambaとSliding Window Attention(SWA)を組み合わせた単純なハイブリッドアーキテクチャであるSambaを提案する。 Sambaは特定のシーケンスを選択的にリカレントなシークレット状態に圧縮し、最近の記憶をアテンション機構で正確にリコールする能力を維持している。 私たちはSambaを3.8Bのパラメータに拡張し、3.2Tのトレーニングトークンを使用し、様々なベンチマークで最先端モデルよりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-11T17:50:51Z)
• Mamba-R: Vision Mamba ALSO Needs Registers [45.41648622999754]
  ビジョントランスフォーマーと同様に、視覚マンバの特徴マップにも存在しているアーティファクトを識別する。 これらのアーティファクトは、画像の低情報背景領域に出現するハイノームトークンに対応しており、Vision Mambaではより深刻に見えます。 この問題を緩和するために、私たちはVision Mambaにレジスタトークンを導入するという以前のソリューションに従います。
  論文  参考訳（メタデータ） (2024-05-23T17:58:43Z)
• MambaByte: Token-free Selective State Space Model [71.90159903595514]
  マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。 MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
  論文  参考訳（メタデータ） (2024-01-24T18:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。