論文の概要: Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models

• arxiv url: http://arxiv.org/abs/2606.18114v1
• Date: Tue, 16 Jun 2026 16:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.541414
• Title: Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models
• Title（参考訳）: 第3次マンバ:グループ量子化-W1.58A16状態空間モデルの学習
• Authors: Ramprasath Ganesaraja, Sahil Dilip Panse, Swathika N,
• Abstract要約: Mamba-2のような状態空間モデル(SSM)は線形時間推論を提供するが、メモリフットプリントはエッジ展開を制限する。 事前訓練されたチェックポイントサファイスを示し、限界トークン予算を1000倍に削減する。 わずか102Mトークン(4GPU時間、シングルH100)で48.1%のゼロショット精度を達成する
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: State Space Models (SSMs) such as Mamba-2 offer linear-time inference but their memory footprint limits edge deployment. Prior ternary SSM work (Slender-Mamba) trains from scratch on 150B tokens; we show a pretrained checkpoint suffices, reducing the marginal token budget by 1,000x. Using grouped quantization-aware training (QAT) with knowledge distillation from a frozen FP16 teacher, we compress Mamba-2 1.3B to 3.61x (2,687 to 744 MB) and achieve 48.1% zero-shot accuracy (7-task average) in just 102M tokens (4 GPU-hours, single H100) -- approaching Bi-Mamba's 48.4% (within +/-0.9pp CI). This QAT-from-pretrained setting reveals zero-ratio collapse, a novel instability caused by learnable quantization scales that does not arise in from-scratch training. We further show that post-hoc correction strategies effective for Transformers fail for SSMs due to error accumulation through the recurrence. These results demonstrate that ternary SSMs do not require expensive from-scratch training: QAT from pretrained checkpoints with KD is a data-efficient alternative.
• Abstract（参考訳）: Mamba-2のような状態空間モデル(SSM)は線形時間推論を提供するが、メモリフットプリントはエッジデプロイメントを制限する。 第3次SSM作業(Slender-Mamba)は150Bトークンをスクラッチからトレーニングする。 冷凍FP16教師の知識蒸留によるグループ量子化学習(QAT)を用いて、Mamba-2 1.3B を3.61x (2,687 - 744 MB) に圧縮し、わずか102Mトークン (4 GPU-hours, single H100) で48.1%ゼロショット精度 (7-task average) を達成する。 このQAT- from-pretrained setはゼロ比崩壊(英語版)を示し、これは学習可能な量子化スケールによって生じる新しい不安定性であり、これは、ゼロスクラッチトレーニングでは生じない。 さらに,再帰による誤り蓄積により,トランスフォーマーに有効なポストホック補正戦略がSSMで失敗することを示す。 これらの結果から,3次SSMは高価なオフスクラッチトレーニングを必要としないことが示される: 事前訓練されたチェックポイントからのQATは,データ効率のよい代替手段である。

関連論文リスト

• Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training [5.976336341654394]
  低ビット浮動小数点フォーマットによる量子化対応トレーニング(QAT)は、効率的なLCMデプロイメントを実現するが、標準的なトレーニングメトリクスには見えない微妙な障害モードを導入する。 遅延スケーリング(DTS)によるOpenPangu-Embedded-1B用HiF8 W8A8 QATの系統的研究について述べる。 我々は、2つの障害モードを同定し、分離する: (i)max saturation、遅延スケール、フォワードパスクリッピングによる知識に敏感な表現を推定する; (ii)カタストロフィックな忘れ、そして、アグレッシブラーニングレートは、量子化とは無関係に事前訓練されたコモンセンス知識を上書きする。
  論文  参考訳（メタデータ） (2026-05-25T09:19:57Z)
• ZAYA1-8B Technical Report [14.894881882111605]
  700Mのアクティブパラメータと8Bの合計パラメータを混合したMoEモデルであるZAYA1-8Bを提案する。 ZAYA1-8BはDeepSeek-R1-0528といくつかの挑戦的な数学とコーディングのベンチマークで一致または超える。 ポストトレーニングでは、数学とパズルのウォームアップを推論する4段階のRLカスケード、400タスクのRLVE-Gymカリキュラム、テストタイムの計算トレースと合成コード環境を備えた数学とコードRLを使用する。
  論文  参考訳（メタデータ） (2026-05-06T18:44:08Z)
• Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
  Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。 278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
  論文  参考訳（メタデータ） (2026-04-28T14:25:10Z)
• StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing [0.0]
  StateSMixはオンライントレーニングされたMambaスタイルのステートスペースモデル(SSM)で、スパース n-gram コンテキストの混合と算術符号を持つ。 SSMはBPEトークンに対して連続的に更新された確率推定を提供し、9つのスパースn-gramハッシュテーブルは正確な局所および長距離パターン記憶を付加する。 標準のenwik8ベンチマークでは、StateSMixは1MBで2.123bpb、3MBで2.149bpb、10MBで2.162bp、xz-9e(LZMA2)を8.7%、5.4%、そして2.162bpbを達成した。
  論文  参考訳（メタデータ） (2026-04-05T19:28:11Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。