論文の概要: LCT: Losslessly Compressed Tensors with GPU friendly execution for Training

• arxiv url: http://arxiv.org/abs/2610.22179v1
• Date: Thu, 15 Oct 2026 16:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.194095
• Title: LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
• Title（参考訳）: LCT:GPUフレンドリーなトレーニングのためのレスレス圧縮テンソル
• Abstract要約: Losslessly Compressed Huffmans (LCT)は、この繰り返しエンコード-デコード方式のために設計されたGPU実行フレームワークである。 LCTは浮動小数点データの自然な冗長性を利用して、重み、アクティベーション、状態の保存を減らす。 本分析では,LCTの保存コストと大きさ変化への適応性を特徴付ける。
• 参考スコア（独自算出の注目度）: 13.91469514564848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lossless tensor compression could reduce memory usage during training, but training requires tensors to be repeatedly re-encoded. We introduce Losslessly Compressed Tensors (LCT), a GPU execution framework designed for this repeated encode-decode regime. LCT exploits the natural redundancy in floating point data to reduce storage for weights, activations and optimizer states. Highly optimized GPU kernels implement Huffman coding with precomputed codebooks for low compression and decompression overhead, essential for training. Our analysis characterizes LCT's storage costs and adaptation to magnitude shifts. LCT achieves a compression ratio of up to $1.455\times$, and is demonstrated in training and finetuning settings. On a 162M-parameter NanoGPT, LCT reduces memory usage by $24.6\%$ for a $7.2\%$ step-time increase. In Qwen3-4B fine-tuning, LCT saves up to $23.8\%$ of peak memory, enabling a $3.5\times$ larger context length in training on the same GPU.
• Abstract（参考訳）: ロスレステンソル圧縮はトレーニング中のメモリ使用量を減らすことができるが、トレーニングではテンソルを繰り返しエンコードする必要がある。 我々は、この繰り返しエンコード・デコード方式のために設計されたGPU実行フレームワークであるLCT(Loslessly Compressed Tensors)を紹介する。 LCTは浮動小数点データの自然な冗長性を利用して、重み、アクティベーション、オプティマイザ状態の保存を減らす。 高度に最適化されたGPUカーネルは、トレーニングに不可欠な低圧縮と減圧オーバーヘッドのために、事前計算されたコードブックでHuffmanコーディングを実装している。 本分析では,LCTの保存コストと大きさ変化への適応性を特徴付ける。 LCTは最大1455\times$の圧縮比を達成し、トレーニングと微調整の設定で実証されている。 162MパラメーターのナノGPTでは、LCTはステップタイムの増加に対して24.6 %のメモリ使用量を削減している。 Qwen3-4Bの微調整では、LCTは最大23.8 %のピークメモリを節約し、同じGPU上でのトレーニングにおいて3.5\times$より大きなコンテキスト長を実現する。

関連論文リスト

• BARTER: Compact Dynamic Sparse Training with Standard Dense Kernels [8.051325206834795]
  ダイナミックスパーストレーニング(DST)は、精度を維持しながらトレーニングコストを削減することを目的としている。 BARTERは、標準の高密度カーネルを使用したトレーニングコストを削減する構造化DSTフレームワークである。 NVIDIA L40では、BARTERは測定されたトレーニングセグメントで最大6.29タイムのスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-10-12T04:10:03Z)
• SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving [4.543073806867322]
  SplitZipは、KVキャッシュ転送のためのGPUフレンドリーな圧縮機である。 SplitZipはKVアクティベーションの浮動小数点指数の冗長性を利用する。 オフラインのトップ16指数コードブックは、オンラインヒストグラムを排除します。
  論文  参考訳（メタデータ） (2026-05-03T04:22:51Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
  textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。 textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。 SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
  論文  参考訳（メタデータ） (2025-05-22T14:11:34Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• CoMERA: Computing- and Memory-Efficient Training via Rank-Adaptive Tensor Optimization [9.826264204082095]
  LLMやDLRMといった大規模なAIモデルのトレーニングには、膨大なGPUと計算時間を要する。 CoMERAは、多目的最適化の定式化により、ランク適応テンソル圧縮(pre)訓練を実現する。 CoMERAは、トレーニングのエポック1回あたり2ドル、メモリ効率がGaLoreよりも高い9ドルだ。
  論文  参考訳（メタデータ） (2024-05-23T09:52:15Z)
• LoMA: Lossless Compressed Memory Attention [0.0]
  Lossless Compressed Memory Attention (LoMA) は、自己回帰生成時のメモリと計算要求を減らす新しいアプローチである。 LoMAには、圧縮コンテキストに最適化された自己回帰生成アルゴリズムとともに、特別なトレーニングや微調整の事前処理が組み込まれている。 実験的検証により、LoMAは計算消費とメモリ使用量を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-16T09:18:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。