論文の概要: Exploiting Student Parallelism for Efficient GPU Inference of BERT-like Models in Online Services

• arxiv url: http://arxiv.org/abs/2408.12526v2
• Date: Mon, 24 Feb 2025 12:08:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:47:09.198318
• Title: Exploiting Student Parallelism for Efficient GPU Inference of BERT-like Models in Online Services
• Title（参考訳）: オンラインサービスにおけるBERT様モデルの効率的なGPU推論のための学生並列化
• Authors: Weiyan Wang, Yilun Jin, Yiming Zhang, Victor Junqiu Wei, Han Tian, Li Chen, Jinbao Xue, Yangyu Tao, Di Wang, Kai Chen,
• Abstract要約: 我々は,オンラインワークロード上でのGPU推論の現実的な設定について,sysを提示する。 サイスは、積み重ね蒸留とアンサンブルの強化を採用し、オリジナルの深層モデルを浅いが事実上積み重ねられた学生モデルのグループに蒸留する。 その結果、sysのベースラインは4.1timessim 1.6times$で精度を保ち、ワークロードバーストに対して最大22.27times$でパフォーマンスが向上した。
• 参考スコア（独自算出の注目度）: 27.998951498347626
• License:
• Abstract: Due to high accuracy, BERT-like models have been widely adopted by text mining and web searching. However, large BERT-like models suffer from inefficient online inference, facing the following two problems on GPUs: (1) their high accuracy relies on the large model depth, which linearly increases the sequential computation on GPUs; (2) stochastic and dynamic online workloads cause extra costs from batching and paddings. Therefore, we present \sys for the real-world setting of GPU inference on online workloads. At its core, \sys adopts stacking distillation and boosting ensemble, distilling the original deep model into a group of shallow but virtually stacked student models running in parallel. This enables \sys to achieve a lower model depth (e.g., two layers) than the others and the lowest inference latency while maintaining accuracy. In addition, adaptive student pruning realizes dynamic student numbers according to changing online workloads. Especially for occasional workload bursts, it can temporarily decrease the student number with minimal accuracy loss to improve system throughput. We conduct comprehensive experiments to verify the effectiveness, whose results show that \sys outperforms the baselines by $4.1\times\sim 1.6\times$ in latency while maintaining accuracy and achieves up to $22.27\times$ higher throughput for workload bursts.
• Abstract（参考訳）: BERTのようなモデルは高い精度でテキストマイニングやWeb検索に広く採用されている。 しかし、大きなBERTのようなモデルは、以下に示す2つのGPU上の非効率なオンライン推論に直面する。(1)高い精度は、GPU上の逐次計算を線形に増加させる大きなモデルの深さに依存する。 そこで我々は,オンラインワークロード上でのGPU推論の現実的な設定について,‘sys’を提示する。 核となるのは、積み重ね蒸留とアンサンブルの強化であり、オリジナルの深層モデルを浅いが事実上積み重ねられた学生モデルのグループに蒸留する。 これにより、Shasysは他のものよりも低いモデル深さ(例:2層)と低い推論レイテンシを精度を維持しながら達成できる。 さらに、適応的な学生プルーニングは、オンラインワークロードの変化に応じて、動的な学生数を実現する。 特に、時折の作業負荷バーストでは、システムのスループットを向上させるために、学生数を最小限の精度で一時的に減少させることができる。 我々は、有効性を検証するための総合的な実験を行い、その結果、‘sys’は、精度を維持しながらレイテンシが4.1\times\sim 1.6\times$を上回り、ワークロードバーストのスループットを最大22.27\times$に向上することを示した。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• A hybrid framework for effective and efficient machine unlearning [12.499101994047862]
  マシン・アンラーニング(MU)は、既に訓練済みのモデルパラメータから取り消されたサンプルのインプリントを取り除くために提案されている。 我々は、その上で、全体的な成功を達成するために、新しいハイブリッド戦略を提示する。
  論文  参考訳（メタデータ） (2024-12-19T03:59:26Z)
• Over-parameterized Student Model via Tensor Decomposition Boosted Knowledge Distillation [10.48108719012248]
  我々は、より大規模な教師モデルを模倣するために、コンパクトな学生モデルを訓練する知識蒸留(KD)に焦点を当てる。 これまでの作業の多くとは対照的に、トレーニング中の学生モデルのパラメータをスケールアップする。
  論文  参考訳（メタデータ） (2024-11-10T12:40:59Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Hydra: A System for Large Multi-Model Deep Learning [3.571623412954477]
  本稿では,トランスフォーマーやCNNといったモデルを対象として,DRAMとGPUメモリ間のレイヤ群を移動させる手法である'model spilling'を提案する。 次に,マルチモデルトレーニングワークロードの効率を上げるために,こぼれを利用した新しいテクニックのセットを提案する。 実際のベンチマークワークロードによる実験によると、HYDRAは通常のモデル並列処理よりも7倍高速で、パイプライン並列処理のための最先端の産業ツールよりも50%高速である。
  論文  参考訳（メタデータ） (2021-10-16T18:13:57Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• DiPair: Fast and Accurate Distillation for Trillion-Scale Text Matching and Pair Modeling [24.07558669713062]
  テキストペアタスクの高速かつ正確なモデルを蒸留するためのフレームワークであるDiPairを提案する。 スケーラビリティも高く、品質と速度のトレードオフも改善されている。 学術および実世界のeコマースベンチマークで実施された実証研究は,提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2020-10-07T01:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。