論文の概要: FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models

• arxiv url: http://arxiv.org/abs/2508.01506v1
• Date: Sat, 02 Aug 2025 22:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.91143
• Title: FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
• Title（参考訳）: FlashSVD:低ランクモデルのためのストリーミングによるメモリ効率のよい推論
• Authors: Zishan Shao, Yixiao Wang, Qinsi Wang, Ting Jiang, Zhixu Du, Hancheng Ye, Danyang Zhuo, Yiran Chen, Hai Li,
• Abstract要約: FlashSVDは、SVD圧縮された大規模言語モデルのためのエンドツーエンドのランクアウェアストリーミング推論フレームワークである。 ピークアクティベーションメモリを最大70.2%削減し、中間のトランジェントメモリを75%削減する。 アップストリームエンコード圧縮法では精度の低下は生じず、低ランクLLMのメモリ制約による展開への実践的な経路を提供する。
• 参考スコア（独自算出の注目度）: 15.244129138320782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Singular Value Decomposition (SVD) has recently seen a surge of interest as a simple yet powerful tool for large language models (LLMs) compression, with a growing number of works demonstrating 20-80% parameter reductions at minimal accuracy loss. Previous SVD-based approaches have focused primarily on reducing the memory footprint of model weights, largely overlooking the additional activation memory overhead incurred during inference when applying truncated factors via standard dense CUDA kernels. Our experiments demonstrate that this activation overhead, scaling with sequence length and hidden dimension, prevents current SVD compression techniques from achieving any reduction in peak inference memory, thereby limiting their viability for real-world, on-device deployments. We introduce FlashSVD, a novel, end-to-end rank-aware streaming inference framework specifically designed for SVD-compressed large language models. FlashSVD can be seamlessly integrated with any model that employs SVD-based methods for parameter reduction. By fusing low-rank projection kernels directly into both the self-attention and feed-forward network (FFN) pipelines, FlashSVD avoid materializing full-size activation buffers. Instead, small tiles of the truncated factors are loaded into on-chip SRAM, multiplied and reduced on the fly, and immediately evicted, preserving high GPU occupancy and adding no extra latency. On standard encoder benchmarks (e.g., BERT-Base), FlashSVD cuts peak activation memory by up to 70.2% and intermediate transient memory by 75%, all while incur no accuracy loss with upstreaming compression methods, offering a practical path toward memory-constrained deployment of low-rank LLMs.
• Abstract（参考訳）: Singular Value Decomposition (SVD)は、最近、大規模言語モデル(LLM)圧縮のためのシンプルだが強力なツールとして、関心が高まりつつある。 従来のSVDベースのアプローチは、主にモデル重み付けのメモリフットプリントの削減に重点を置いており、標準の高密度CUDAカーネルを介してトランケートされた要素を適用する際に、推論中に発生する追加のアクティベーションメモリオーバーヘッドを見落としている。 実験により,このアクティベーションオーバヘッドは,シーケンス長と隠蔽次元で拡張され,現在のSVD圧縮技術がピーク推論メモリの低下を防止し,実世界のオンデバイス展開に有効性を制限することが実証された。 SVD圧縮大言語モデルに特化して設計されたFlashSVDは、エンド・ツー・エンドのランクアウェアなストリーミング推論フレームワークである。 FlashSVDはパラメータ還元のためにSVDベースのメソッドを使用する任意のモデルとシームレスに統合できる。 低ランクのプロジェクションカーネルを自己アテンションおよびフィードフォワードネットワーク(FFN)パイプラインに直接融合させることで、FlashSVDはフルサイズのアクティベーションバッファの実体化を避けることができる。 代わりに、切り詰められた要素の小さなタイルがオンチップのSRAMにロードされ、乗算と減算がオンザフライで行われ、即座に取り除かれ、高いGPU占有率を保持し、追加のレイテンシを追加しない。 標準的なエンコーダベンチマーク(例えばBERT-Base)では、FlashSVDはピークアクティベーションメモリを最大70.2%削減し、中間過渡メモリを75%削減した。

関連論文リスト

• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [81.81027217759433]
  大きな言語モデル(LLM)はキーバリュー(KV)キャッシュを保存するのに必要な過剰なメモリによって制約されることが多い。 近年,KVキャッシュの隠蔽次元の低減について検討されている。 本稿では,KVキャッシュの隠れ次元を削減した後学習KVキャッシュ圧縮手法ReCalKVを提案する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ResSVD: Residual Compensated SVD for Large Language Model Compression [12.539815070352116]
  大規模言語モデル(LLM)は、幅広い下流自然言語処理タスクにおいて印象的な機能を示している。 本稿では,ポストトレーニング後のSVDに基づくLLM圧縮手法であるResSVDを提案する。 トラニケート過程中に発生する残留行列を利用してトラニケート損失を低減する。
  論文  参考訳（メタデータ） (2025-05-26T15:14:54Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [84.60646883395454]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• LoMA: Lossless Compressed Memory Attention [0.0]
  Lossless Compressed Memory Attention (LoMA) は、自己回帰生成時のメモリと計算要求を減らす新しいアプローチである。 LoMAには、圧縮コンテキストに最適化された自己回帰生成アルゴリズムとともに、特別なトレーニングや微調整の事前処理が組み込まれている。 実験的検証により、LoMAは計算消費とメモリ使用量を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-16T09:18:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。