論文の概要: DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs

• arxiv url: http://arxiv.org/abs/2312.05215v2
• Date: Fri, 01 Nov 2024 21:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:10.119177
• Title: DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs
• Title（参考訳）: DeltaZip: 複数のフルモデルチューニング LLM の効率的な実行
• Authors: Xiaozhe Yao, Qinghao Hu, Ana Klimovic,
• Abstract要約: 微調整された大型言語モデル(LLM)は、下流タスクのモデル品質を大幅に改善する。 散発的、バースト的、およびさまざまな要求パターンのために、多くの微調整のLLMを同時に提供することは難しい。 DeltaZipは,複数パラメータの微調整モデルを並列に処理するLLMサービスシステムである。
• 参考スコア（独自算出の注目度）: 7.1597349516197655
• License:
• Abstract: Fine-tuning large language models (LLMs) greatly improves model quality for downstream tasks. However, serving many fine-tuned LLMs concurrently is challenging due to the sporadic, bursty, and varying request patterns of different LLMs. To bridge this gap, we present DeltaZip, an LLM serving system that efficiently serves multiple full-parameter fine-tuned models concurrently by aggressively compressing model deltas by up to 10x while maintaining high model quality. The key insight behind this design is that fine-tuning results in small-magnitude changes to the pre-trained model. By co-designing the serving system with the compression algorithm, DeltaZip achieves 2x to 12x improvement in throughput compared to the state-of-the-art systems.
• Abstract（参考訳）: 微調整された大型言語モデル(LLM)は、下流タスクのモデル品質を大幅に改善する。 しかし、異なるLLMのスポラディック、バースト、および様々な要求パターンのために、多くの微調整LDMを同時に提供することは困難である。 このギャップを埋めるために,モデルデルタを最大10倍まで積極的に圧縮し,高いモデル品質を維持しながら,複数のフルパラメータの微調整モデルを並列に処理するLLMサービスシステムDeltaZipを提案する。 この設計の背景にある重要な洞察は、微調整の結果が事前訓練されたモデルに小さなマグニチュード変化をもたらすことである。 サービスシステムを圧縮アルゴリズムで設計することで、DeltaZipは最先端システムに比べてスループットが2倍から12倍向上する。

関連論文リスト

• DeltaDQ: Ultra-High Delta Compression for Fine-Tuned LLMs via Group-wise Dropout and Separate Quantization [17.501956455837707]
  大規模言語モデルは、教師付き微調整により、様々な下流タスクにおいて例外的なパフォーマンスを達成する。 デルタ重量を圧縮する現在の方法は超高圧縮を達成するのに苦労している。 デルタ重みの超高圧縮を実現するために,分布駆動型デルタ圧縮フレームワークデルタDQを提案する。
  論文  参考訳（メタデータ） (2024-10-11T09:44:16Z)
• Pruning Large Language Models with Semi-Structural Adaptive Sparse Training [17.381160429641316]
  適応スパーストレーナー(AST)と呼ばれるリトレーニングによる半構造化スパースモデルのプルーニングパイプラインを提案する。 ASTは、モデルがトレーニングプロセスを通して適応的にマスクを選択することを可能にし、マスキング重みに減衰を施すことにより、密度の高いモデルをスパースモデルに変換する。 本研究は,半構造化されたスパース言語モデルの実現可能性を示し,高度に圧縮されたモデルを実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T06:33:44Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• BitDelta: Your Fine-Tune May Only Be Worth One Bit [57.558376557639555]
  大規模言語モデル(LLM)は通常、大規模なインターネットスケールデータセットの事前トレーニングと、下流タスクの微調整という2つのフェーズでトレーニングされる。 我々は,このデルタを1ビットまで量子化する簡単な手法BitDeltaを導入し,性能を損なうことなく実現した。 複数の1ビットデルタを伴う1つの高精度ベースモデルを使用することで、BitDeltaはGPUメモリの要求を劇的に10倍に削減する。
  論文  参考訳（メタデータ） (2024-02-15T18:50:06Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers [78.85346970193518]
  Megabyteは、100万バイトを超えるシーケンスのエンドツーエンドで微分可能なモデリングを可能にするマルチスケールデコーダアーキテクチャである。 実験によると、Megabyteはバイトレベルのモデルで、長い文脈言語モデリングのサブワードモデルと競合することを可能にする。 その結果、トークン化のない自己回帰配列を大規模にモデル化できる可能性が確立された。
  論文  参考訳（メタデータ） (2023-05-12T00:55:41Z)
• ZipLM: Inference-Aware Structured Pruning of Language Models [56.52030193434863]
  ZipLMと呼ばれる大規模言語モデル(LLM)に対する新しい構造化圧縮手法を提案する。 ZipLMは、所望のランタイムスピードアップのセットをマッチングしながら、最先端の精度-vs-スピードアップを実現する。 ZipLMはすべての設定で最先端の圧縮モデルを生成する。
  論文  参考訳（メタデータ） (2023-02-07T18:55:28Z)
• Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition [7.450574974954803]
  スマートデバイスにおける小さなメモリ帯域幅は、より小さな自動音声認識(ASR)モデルの開発を促す。 知識蒸留(KD)は、より小さなモデルサイズを達成するための一般的なモデル圧縮手法である。 KDを用いてコンバータトランスデューサモデルを圧縮する多段階プログレッシブアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-01T02:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。