論文の概要: Scaling Up On-Device LLMs via Active-Weight Swapping Between DRAM and Flash

• arxiv url: http://arxiv.org/abs/2504.08378v1
• Date: Fri, 11 Apr 2025 09:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:18:14.813950
• Title: Scaling Up On-Device LLMs via Active-Weight Swapping Between DRAM and Flash
• Title（参考訳）: DRAMとFlash間のアクティブウェイトスワッピングによるオンデバイスLCMのスケールアップ
• Authors: Fucheng Jia, Zewen Wu, Shiqi Jiang, Huiqiang Jiang, Qianxi Zhang, Yuqing Yang, Yunxin Liu, Ju Ren, Deyu Zhang, Ting Cao,
• Abstract要約: 大規模言語モデル(LLM)はモバイルデバイスにますますデプロイされているが、DRAM容量の制限により、デプロイ可能なモデルサイズが制限されている。 本稿では,現代のLLMに対して適応的なDRAM利用を実現するための,最初のLLM推論フレームワークであるActiveFlowを紹介する。
• 参考スコア（独自算出の注目度）: 21.8915200300114
• License:
• Abstract: Large language models (LLMs) are increasingly being deployed on mobile devices, but the limited DRAM capacity constrains the deployable model size. This paper introduces ActiveFlow, the first LLM inference framework that can achieve adaptive DRAM usage for modern LLMs (not ReLU-based), enabling the scaling up of deployable model sizes. The framework is based on the novel concept of active weight DRAM-flash swapping and incorporates three novel techniques: (1) Cross-layer active weights preloading. It uses the activations from the current layer to predict the active weights of several subsequent layers, enabling computation and data loading to overlap, as well as facilitating large I/O transfers. (2) Sparsity-aware self-distillation. It adjusts the active weights to align with the dense-model output distribution, compensating for approximations introduced by contextual sparsity. (3) Active weight DRAM-flash swapping pipeline. It orchestrates the DRAM space allocation among the hot weight cache, preloaded active weights, and computation-involved weights based on available memory. Results show ActiveFlow achieves the performance-cost Pareto frontier compared to existing efficiency optimization methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)はモバイルデバイスにますますデプロイされているが、DRAM容量の制限により、デプロイ可能なモデルサイズが制限されている。 本稿では,最新のLLM(ReLUベースではない)に適応的なDRAM利用を実現するための,最初のLCM推論フレームワークであるActiveFlowを紹介し,デプロイ可能なモデルサイズをスケールアップする。 このフレームワークは、アクティブウェイトDRAMフラッシュスワッピングという新しい概念に基づいており、(1)クロスレイヤーアクティブウェイトプリロードという3つの新しいテクニックを取り入れている。 現在のレイヤからのアクティベーションを使用して、その後のレイヤのアクティブな重みを予測し、計算とデータのローディングのオーバーラップを可能にし、大規模なI/O転送を容易にする。 2)スポーサリティを意識した自己蒸留 アクティブウェイトを高密度モデル出力分布に合わせるように調整し、文脈空間によって導入された近似を補償する。 (3)アクティブウェイトDRAMフラッシュスワップパイプライン。 使用可能なメモリに基づいて、ホットウェイトキャッシュ、プリロードされたアクティブウェイト、計算関連ウェイト間でDRAM空間割り当てをオーケストレーションする。 その結果、ActiveFlowは既存の効率最適化手法と比較して、パフォーマンスコストの高いParetoフロンティアを実現している。

関連論文リスト

• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Mixture of Hidden-Dimensions Transformer [50.40325486463241]
  隠れ次元の空間性について検討し、訓練されたトランスフォーマーがわずかなトークン次元しか利用していないことを観察する。 スパース条件付アクティベーションアーキテクチャであるMoHD(Mixture of Hidden Dimensions)を提案する。 50%のアクティベーションパラメータが減少し、3.7%のハイパフォーマンスを実現し、3倍のパラメータを一定のアクティベーションコストで拡張する。
  論文  参考訳（メタデータ） (2024-12-07T13:15:22Z)
• Efficient LLM Inference using Dynamic Input Pruning and Cache-Aware Masking [12.664307714758843]
  本稿では,最小限の微調整で精度を保ちながら予測自由な動的スペーシフィケーション手法を提案する。 本稿では、キャッシュの状態とアクティベーションの規模を考慮し、キャッシュヒット率をさらに向上させる新しいキャッシュ対応マスキング戦略について述べる。 DIPは46%のメモリ削減と40%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2024-12-02T11:07:51Z)
• Anda: Unlocking Efficient LLM Inference with a Variable-Length Grouped Activation Data Format [5.527166214435735]
  量子化大言語モデル(LLM)は低ビット整数(INT)重みを利用し、浮動小数点(FP)アクティベーションを保持する。 これにより、コストのかかるメモリアクセスと計算に関連するFPアクティベーションに、エネルギとレイテンシのボトルネックがシフトする。 既存のLCMアクセラレータは、FP計算とデータ移動を協調的に最適化する可能性を見越して、計算最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-11-24T20:59:39Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs [44.03692512352445]
  カラムレベル適応量量子化(CLAQ)は、LLM(Large Language Models)量子化のための新しく効果的なフレームワークである。 本稿では,LLM量子化のための3種類の適応戦略を導入することで,新しい効果的なCLAQフレームワークを提案する。 LLaMA-1, LLaMA-2, Yi など,様々な主要なオープンソース LLM に関する実験により, 提案手法が様々なビット設定における最先端結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:49:39Z)
• Head-wise Shareable Attention for Large Language Models [56.92068213969036]
  大きな言語モデル(LLM)は膨大な数のパラメータに悩まされており、エッジデバイスへのデプロイメントを制限している。 ウェイトシェアリングは、ウェイト再利用を促進する有望なソリューションのひとつで、メモリ使用量を効果的に削減し、パフォーマンスを低下させる。 本稿では,大規模言語モデルにおける頭部的共通性に着目した視点を示す。
  論文  参考訳（メタデータ） (2024-02-19T04:19:36Z)
• LLM in a flash: Efficient Large Language Model Inference with Limited Memory [19.668719251238176]
  大規模言語モデル(LLM)は現代の自然言語処理の中心であり、様々なタスクにおいて例外的なパフォーマンスを提供する。 本稿では,利用可能なDRAM容量を超えるLLMを効率的に動作させるという課題に対処する。 本手法は,フラッシュメモリの特性を考慮した推論コストモデルの構築を含む。
  論文  参考訳（メタデータ） (2023-12-12T18:57:08Z)
• MAC-DO: An Efficient Output-Stationary GEMM Accelerator for CNNs Using DRAM Technology [2.918940961856197]
  本稿では,DRAMを用いた高速かつ低消費電力なインサイトアクセラレータMAC-DOを提案する。 マルチビット乗算(MAC)操作を1サイクルでサポートする。 MAC-DOアレイは、出力定常マッピングに基づいて行列乗算を効率的に加速することができ、ディープニューラルネットワーク(DNN)で実行される計算の大部分をサポートする。
  論文  参考訳（メタデータ） (2022-07-16T07:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。