論文の概要: BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks

• arxiv url: http://arxiv.org/abs/2610.22256v1
• Date: Thu, 15 Oct 2026 17:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.224121
• Title: BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks
• Title（参考訳）: BitSparse: ReLUフィードフォワードネットワークのためのコンパクトなアクティベーションストレージ
• Abstract要約: BitSparseは、スパースアクティベーションのためのGPU対応圧縮フォーマットである。 トーケンあたりのVRAMはそれぞれ31%減少し、モッドド・ナノGPTとネモトロン-Hは30%減少する。
• 参考スコア（独自算出の注目度）: 13.91469514564848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reducing memory use in large language model (LLM) training is an ongoing challenge. Activation checkpointing saves memory by recomputation, while lossy compression changes the stored activations. The reemergence of sparse $\relu$ and $\relu^2$ activations creates a third opportunity: losslessly compressing the activation cache itself. We present BitSparse, a GPU-resident lossless compression format for sparse activations. Compression and reconstruction run in custom Triton kernels fused into an autograd function, shrinking the activation cache while recovering it exactly for the backward pass. Bfloat16 (BF16) and FP8 activations are supported. Optional sign-bit packing further increases compression up to close to the theoretical limit. We analyze its compression ratio and compare it to the theoretical optimum. BitSparse lowers per-token VRAM by 31\% and 30\% Modded-NanoGPT and Nemotron-H respectively, with overheads of no more than 1\% at practical sequence lengths. Additionally, a new preallocated buffer system avoids host synchronization during training when variable size tensors are allocated.
• Abstract（参考訳）: 大規模言語モデル(LLM)トレーニングにおけるメモリ使用量の削減は、現在進行中の課題である。 アクティベーションチェックポイントは再計算によってメモリを節約し、ロッキー圧縮は記憶されているアクティベーションを変更する。 スパース$\relu$と$\relu^2$アクティベーションの再帰は、第3の機会を生み出します。 スパースアクティベーションのためのGPU-resident Losless圧縮フォーマットであるBitSparseを提案する。 カスタムのトリトンカーネルで圧縮と再構成が実行され、オートグレード機能に融合し、アクティベーションキャッシュを縮小し、後方パスのために正確に回復した。 Bfloat16(BF16)とFP8アクティベーションがサポートされている。 任意のシグニカルビットパッキングにより、理論的限界に近い圧縮がさらに増加する。 圧縮比を分析し,理論的な最適値と比較する。 BitSparseは、それぞれModded-NanoGPTとNemotron-Hを31倍に低下させ、実際のシーケンス長で1倍以上のオーバーヘッドを発生させる。 さらに、新しいプリアロケートバッファシステムは、可変サイズテンソルが割り当てられた場合、トレーニング中のホスト同期を回避する。

関連論文リスト

• NeuralZip: Reusable Setup for Fast Lossless Compression [13.178011994283457]
  ロスレス圧縮は、浮動小数点値を変更することなく、モデルの重みの保存と移動を減らすことができるが、繰り返し統計解析とコード構成は計算オーバーヘッドを増大させる。 我々は、類似の指数分布でチャンクをグループ化し、ハフマン符号を共有し、満載指数を用いて繰り返し指数を選択的に表現するNeuralZipを紹介する。 この設定は、他の互換性のあるアーキテクチャからプリコンパイルおよび転送可能であり、同様の圧縮比を保ち、セットアップコストを償却する必要がないことを示す。
  論文  参考訳（メタデータ） (2026-10-07T12:06:24Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks [30.224822087562163]
  NeuZipはニューラルネットワークにおける浮動小数点数のエントロピーに基づく新しい重み圧縮方式である。 Llama-3 8Bモデルのメモリフットプリントを31GBから16GB以下に大幅に削減した。 推定では, ほぼロスレス性能を維持しながら, メモリ使用量を半減することができる。
  論文  参考訳（メタデータ） (2024-10-28T01:12:20Z)
• LoMA: Lossless Compressed Memory Attention [0.0]
  Lossless Compressed Memory Attention (LoMA) は、自己回帰生成時のメモリと計算要求を減らす新しいアプローチである。 LoMAには、圧縮コンテキストに最適化された自己回帰生成アルゴリズムとともに、特別なトレーニングや微調整の事前処理が組み込まれている。 実験的検証により、LoMAは計算消費とメモリ使用量を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-16T09:18:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。