論文の概要: Scaling Up On-Device LLMs via Active-Weight Swapping Between DRAM and Flash
- arxiv url: http://arxiv.org/abs/2504.08378v1
- Date: Fri, 11 Apr 2025 09:26:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-21 20:26:16.332582
- Title: Scaling Up On-Device LLMs via Active-Weight Swapping Between DRAM and Flash
- Title（参考訳）: DRAMとFlash間のアクティブウェイトスワッピングによるオンデバイスLCMのスケールアップ
- Authors: Fucheng Jia, Zewen Wu, Shiqi Jiang, Huiqiang Jiang, Qianxi Zhang, Yuqing Yang, Yunxin Liu, Ju Ren, Deyu Zhang, Ting Cao,
- Abstract要約: 大規模言語モデル(LLM)はモバイルデバイスにますますデプロイされているが、DRAM容量の制限により、デプロイ可能なモデルサイズが制限されている。
本稿では,現代のLLMに対して適応的なDRAM利用を実現するための,最初のLLM推論フレームワークであるActiveFlowを紹介する。
- 参考スコア（独自算出の注目度）: 21.8915200300114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly being deployed on mobile devices, but the limited DRAM capacity constrains the deployable model size. This paper introduces ActiveFlow, the first LLM inference framework that can achieve adaptive DRAM usage for modern LLMs (not ReLU-based), enabling the scaling up of deployable model sizes. The framework is based on the novel concept of active weight DRAM-flash swapping and incorporates three novel techniques: (1) Cross-layer active weights preloading. It uses the activations from the current layer to predict the active weights of several subsequent layers, enabling computation and data loading to overlap, as well as facilitating large I/O transfers. (2) Sparsity-aware self-distillation. It adjusts the active weights to align with the dense-model output distribution, compensating for approximations introduced by contextual sparsity. (3) Active weight DRAM-flash swapping pipeline. It orchestrates the DRAM space allocation among the hot weight cache, preloaded active weights, and computation-involved weights based on available memory. Results show ActiveFlow achieves the performance-cost Pareto frontier compared to existing efficiency optimization methods.
- Abstract（参考訳）: 大規模言語モデル(LLM)はモバイルデバイスにますますデプロイされているが、DRAM容量の制限により、デプロイ可能なモデルサイズが制限されている。
本稿では,最新のLLM(ReLUベースではない)に適応的なDRAM利用を実現するための,最初のLCM推論フレームワークであるActiveFlowを紹介し,デプロイ可能なモデルサイズをスケールアップする。
このフレームワークは、アクティブウェイトDRAMフラッシュスワッピングという新しい概念に基づいており、(1)クロスレイヤーアクティブウェイトプリロードという3つの新しいテクニックを取り入れている。
現在のレイヤからのアクティベーションを使用して、その後のレイヤのアクティブな重みを予測し、計算とデータのローディングのオーバーラップを可能にし、大規模なI/O転送を容易にする。
2)スポーサリティを意識した自己蒸留
アクティブウェイトを高密度モデル出力分布に合わせるように調整し、文脈空間によって導入された近似を補償する。
(3)アクティブウェイトDRAMフラッシュスワップパイプライン。
使用可能なメモリに基づいて、ホットウェイトキャッシュ、プリロードされたアクティブウェイト、計算関連ウェイト間でDRAM空間割り当てをオーケストレーションする。
その結果、ActiveFlowは既存の効率最適化手法と比較して、パフォーマンスコストの高いParetoフロンティアを実現している。
関連論文リスト
- R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。
10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-04-28T03:30:32Z) - AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。
既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。
本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
論文 参考訳（メタデータ） (2025-02-27T14:46:22Z) - Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)により,より効率的な長文処理を実現する。
本稿では,まず,変圧器の非効率性について,ソフトマックス動作のばらつきから生じる注意シンク現象を考察する。
実験により、SWATは8つのベンチマーク上での最先端の線形リカレントアーキテクチャと比較してSOTA性能を達成することが示された。
論文 参考訳（メタデータ） (2025-02-26T05:31:44Z) - Efficient LLM Inference using Dynamic Input Pruning and Cache-Aware Masking [12.664307714758843]
本稿では,最小限の微調整で精度を保ちながら予測自由な動的スペーシフィケーション手法を提案する。
本稿では、キャッシュの状態とアクティベーションの規模を考慮し、キャッシュヒット率をさらに向上させる新しいキャッシュ対応マスキング戦略について述べる。
DIPは46%のメモリ削減と40%のスループット向上を実現している。
論文 参考訳（メタデータ） (2024-12-02T11:07:51Z) - Anda: Unlocking Efficient LLM Inference with a Variable-Length Grouped Activation Data Format [5.527166214435735]
量子化大言語モデル(LLM)は低ビット整数(INT)重みを利用し、浮動小数点(FP)アクティベーションを保持する。
これにより、コストのかかるメモリアクセスと計算に関連するFPアクティベーションに、エネルギとレイテンシのボトルネックがシフトする。
既存のLCMアクセラレータは、FP計算とデータ移動を協調的に最適化する可能性を見越して、計算最適化に重点を置いている。
論文 参考訳（メタデータ） (2024-11-24T20:59:39Z) - IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。
IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
論文 参考訳（メタデータ） (2024-10-29T05:50:17Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Building on Efficient Foundations: Effectively Training LLMs with Structured Feedforward Layers [16.253898272659242]
大規模言語モデル(LLM)における最先端の結果は、しばしばスケールに依存し、計算コストがかかる。
本研究は,計算集約型フィードフォワードネットワーク(FFN)を対象とするトランスフォーマーベースLLMに着目した。
広範かつ構造化されたネットワークは、最適なトレードオフにおいて、パラメータが少なく、高密度モデルよりも損失が少ないFLOPをより効率的に活用できることを示す。
論文 参考訳（メタデータ） (2024-06-24T08:43:21Z) - Head-wise Shareable Attention for Large Language Models [56.92068213969036]
大きな言語モデル(LLM)は膨大な数のパラメータに悩まされており、エッジデバイスへのデプロイメントを制限している。
ウェイトシェアリングは、ウェイト再利用を促進する有望なソリューションのひとつで、メモリ使用量を効果的に削減し、パフォーマンスを低下させる。
本稿では,大規模言語モデルにおける頭部的共通性に着目した視点を示す。
論文 参考訳（メタデータ） (2024-02-19T04:19:36Z) - LLM in a flash: Efficient Large Language Model Inference with Limited Memory [19.668719251238176]
大規模言語モデル(LLM)は現代の自然言語処理の中心であり、様々なタスクにおいて例外的なパフォーマンスを提供する。
本稿では,利用可能なDRAM容量を超えるLLMを効率的に動作させるという課題に対処する。
本手法は,フラッシュメモリの特性を考慮した推論コストモデルの構築を含む。
論文 参考訳（メタデータ） (2023-12-12T18:57:08Z) - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。
AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。
また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
論文 参考訳（メタデータ） (2023-06-01T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。