論文の概要: Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2

• arxiv url: http://arxiv.org/abs/2606.10932v1
• Date: Tue, 28 Apr 2026 14:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.816673
• Title: Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2
• Title（参考訳）: 密度場状態空間モデル:Mamba-2における1ビット蒸留、効率的な推論、知識体系
• Abstract要約: Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。 278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Density Field State Space Models (DF-SSM), a framework for compressing SSMs to a 1-bit scaffold with int8 low-rank correction. Applied to Mamba-2 1.3B, we achieve a 278 MB model (9.7x smaller than the 2.7 GB FP16 teacher) that runs at 21.4x faster inference on GPU (batch=1, relative to the mamba-ssm reference implementation) while maintaining downstream task performance within 2-4 percentage points of BitMamba-2, a 1.58-bit model trained from scratch on 150B tokens. The distillation itself requires only 32M tokens and 6 hours on a single A100 GPU, though it presupposes a pretrained FP16 teacher. We develop an optimized inference pipeline combining cuBLAS INT8 tensor cores for the scaffold matmul, custom CUDA kernels for stateful SSM and convolution operations, and an AVX-512 CPU backend for efficient deployment on both GPU and CPU. Beyond compression, we investigate the internal knowledge organization of the resulting model, discovering three distinct processing phases: intent classification (layers 0-3, operating in an abstract space with no vocabulary alignment), knowledge retrieval (layers 25-35, where factual associations localize to a 5-layer window), and output formatting (layers 36-47, where category structure dissolves). Through systematic analysis of 445 factual prompts across 19 categories, we find that early-layer classification is syntactic (driven by template structure) rather than semantic, and that the model exhibits well-organized knowledge representations despite weak factual recall--suggesting that representational structure may precede factual strength.
• Abstract（参考訳）: Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。 Mamba-2 1.3Bに適用した278MBモデル(2.7GB FP16の教師より9.7倍小さい)をGPU上で21.4倍高速に動作し、150Bトークンでスクラッチからトレーニングした1.58ビットモデルであるBitMamba-2のダウンストリームタスク性能を2-4ポイントに維持する。 蒸留自体は、1つのA100 GPUで32Mトークンと6時間しか必要としないが、事前訓練されたFP16教師を前提としている。 本研究では,スキャフォールトマット用のcuBLAS INT8テンソルコア,ステートフルなSSMおよび畳み込み操作用のカスタムCUDAカーネル,GPUとCPUの両方に効率的なデプロイを行うためのAVX-512 CPUバックエンドを最適化した推論パイプラインを開発した。 目的分類(0-3層)、知識検索(25-35層)、出力形式(36-47層)である。 19のカテゴリにまたがる445の事実的プロンプトを体系的に分析することにより、初期層分類は意味論よりも統語的(テンプレート構造によって駆動される)であり、モデルは事実的リコールの弱いにもかかわらずよく組織化された知識表現を示す。

関連論文リスト

• ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
  ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。 エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。 ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
  論文  参考訳（メタデータ） (2026-09-11T17:18:04Z)
• Opt.Gear Technical Report [3.573729952898132]
  OptGearは、デバイス上での効率的なデプロイメント、リアルタイム推論、強力なタスク能力のために設計された基盤モデルである。 密度モデル(1M、270M、1B)で、コンテキスト長は64Kである。 OptGear-1MはARM Cortex-M7 CPU上でW4A32量子化で20TPSを達成した最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2026-08-02T06:43:25Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• BluTrain: A C++/CUDA Framework for AI Systems [2.79727705929128]
  BluTrainは、標準C++とコアプログラミングモデルにおける、堅牢で軽量、アーキテクチャ全般的なトレーニングフレームワークである。 正式な評価では、BluTrainはスループットとメモリ効率の両方において業界標準ベースラインを上回っている。 すべてのレイヤがネイティブチューニングに明示的にオープンになっているため、パフォーマンスの天井は、フレームワークが挙げるべきものなのです。
  論文  参考訳（メタデータ） (2026-06-23T16:39:25Z)
• Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models [0.0]
  Mamba-2のような状態空間モデル(SSM)は線形時間推論を提供するが、メモリフットプリントはエッジ展開を制限する。 事前訓練されたチェックポイントサファイスを示し、限界トークン予算を1000倍に削減する。 わずか102Mトークン(4GPU時間、シングルH100)で48.1%のゼロショット精度を達成する
  論文  参考訳（メタデータ） (2026-06-16T16:18:21Z)
• Task Structure Reverses Layerwise State Encoding in Sequence Models [8.403971471573607]
  タスクが変更されたとき、同じアーキテクチャがこのプロファイルを反転させるのが分かります。 微調整されたMamba-130MとPythia-160Mでは、ParityはMambaとリカレントベースラインに徐々に集中し、Transformerによって徐々に建設された。 同じフリップが微調整されたMamba-130MとPythia-160Mに現れ、Pythia Dyckのボトルネックは410Mで持続する。
  論文  参考訳（メタデータ） (2026-05-30T23:26:29Z)
• Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study [0.0]
  AMD Instinct MI325X GPUにおけるLCM推定のクロスアーキテクチャ評価 3つのアーキテクチャファミリにまたがる235Bから1兆のパラメータにまたがる4つのモデルのベンチマーク。
  論文  参考訳（メタデータ） (2026-02-27T13:21:48Z)
• SegMate: Asymmetric Attention-Based Lightweight Architecture for Efficient Multi-Organ Segmentation [18.60155862524957]
  医用画像セグメンテーションの最先端モデルは精度が高いが、かなりの計算資源を必要とする。 計算要求を大幅に削減しつつ,最先端の精度を実現する,効率の良い2.5DフレームワークであるSegMateを提案する。
  論文  参考訳（メタデータ） (2026-02-27T10:50:55Z)
• TernaryLM: Memory-Efficient Language Modeling via Native 1-Bit Quantization with Adaptive Layer-wise Scaling [0.39287497907611874]
  本稿では, ネイティブな1ビット3次量子化 -1, 0, +1 を用いた 132M パラメータトランスフォーマアーキテクチャである TernaryLM を提案する。 この結果から,ネイティブな1ビットトレーニングが,効率的なニューラルネットワークモデルにとって有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-07T05:35:17Z)
• MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe [68.04078852416248]
  MiniCPM-V 4.5は8Bパラメータモデルであり、高効率で高性能に設計されている。 本稿では,モデルアーキテクチャ,データストラテジー,トレーニング手法の3つの改良点を紹介する。 MiniCPM-V 4.5は30B以下のモデル間で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T19:41:48Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• GroupMamba: Efficient Group-Based Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、最近、四次計算の複雑さで長距離依存を捉えることを約束している。 しかし、純粋にSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最先端の性能を達成するために重要な課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services [32.278096820269816]
  大規模トレーニングと推論の両方において効率を高める新しいMoESysを提案する。 具体的には、トレーニング手順において、提案されたMoESysは、階層ストレージ上の2Dプリフェッチとフュージョン通信を備えたElastic MoEトレーニング戦略を採用する。 単一ノードでのスケーラブルな推論のために、MoESysはCPU-GPUメモリを、モデルをロードするセクションのリングに共同で構築し、効率的な推論のためにラウンドロビン方式でメモリセクション全体で計算タスクを実行する。
  論文  参考訳（メタデータ） (2022-05-20T09:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。