論文の概要: Reducing Memory Requirements for the IPU using Butterfly Factorizations

• arxiv url: http://arxiv.org/abs/2309.08946v1
• Date: Sat, 16 Sep 2023 10:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:23:40.644146
• Title: Reducing Memory Requirements for the IPU using Butterfly Factorizations
• Title（参考訳）: 蝶の因子化によるIPUのメモリ要求の低減
• Authors: S.-Kazem Shekofteh, Christian Alles, Holger Fr\"oning
• Abstract要約: インテリジェンス処理ユニット(IPU)は、新しいタイプの大規模並列プロセッサである。 蝶の分解は、完全連結層と畳み込み層の置換としてよく知られている。 我々は,バタフライ構造をIPU上に実装し,その挙動と性能をGPUと比較した。
• 参考スコア（独自算出の注目度）: 0.33148826359547523
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: High Performance Computing (HPC) benefits from different improvements during last decades, specially in terms of hardware platforms to provide more processing power while maintaining the power consumption at a reasonable level. The Intelligence Processing Unit (IPU) is a new type of massively parallel processor, designed to speedup parallel computations with huge number of processing cores and on-chip memory components connected with high-speed fabrics. IPUs mainly target machine learning applications, however, due to the architectural differences between GPUs and IPUs, especially significantly less memory capacity on an IPU, methods for reducing model size by sparsification have to be considered. Butterfly factorizations are well-known replacements for fully-connected and convolutional layers. In this paper, we examine how butterfly structures can be implemented on an IPU and study their behavior and performance compared to a GPU. Experimental results indicate that these methods can provide 98.5% compression ratio to decrease the immense need for memory, the IPU implementation can benefit from 1.3x and 1.6x performance improvement for butterfly and pixelated butterfly, respectively. We also reach to 1.62x training time speedup on a real-word dataset such as CIFAR10.
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)は、特にハードウェアプラットフォームにおいて、適切なレベルでの消費電力を維持しながら、より多くの処理能力を提供するという、過去数十年間の異なる改善の恩恵を受ける。 インテリジェンス処理ユニット(IPU)は、大量の処理コアと高速ファブリックに接続されたオンチップメモリコンポーネントで並列計算を高速化するために設計された、新しいタイプの超並列プロセッサである。 IPUは主に機械学習アプリケーションをターゲットにしているが、GPUとIPUのアーキテクチャ上の違い、特にIPUのメモリ容量が著しく少ないため、スパーシフィケーションによるモデルサイズ削減の方法を考える必要がある。 バタフライ因子分解は、完全連結層と畳み込み層の置き換えとしてよく知られている。 本稿では,バタフライ構造をIPU上に実装し,その挙動と性能をGPUと比較して検討する。 実験結果から, これらの手法は, メモリ使用量を大幅に削減するために98.5%の圧縮比が得られ, IPUの実装は, 蝶と蝶の1.3倍, 1.6倍の性能向上を享受できることがわかった。 また、CIFAR10のようなリアルワードデータセット上でのトレーニング時間の1.62倍にも達します。

関連論文リスト

• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• MEFT: Memory-Efficient Fine-Tuning through Sparse Adapter [40.616849959987555]
  本稿では,大規模言語モデル (LLM) を大容量かつメモリ効率のよいアダプタで微調整する機構を提案する。 これは、LLMのFeed-Forward Networks(FFN)における固有のアクティベーション間隔を活用することで実現される。 我々は、不必要なCPU計算を緩和し、GPUとCPU間の通信量を削減するために、Mixture of Experts(MoE)のようなアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2024-06-07T14:49:22Z)
• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity [12.663030430488922]
  高速コア上での低コストかつ高効率な大規模生成モデル推論を実現するためのFlash-LLMを提案する。 SpMMカーネルレベルでは、Flash-LLMは最先端のライブラリであるSputnikとSparTAをそれぞれ平均2.9倍、1.5倍で上回っている。
  論文  参考訳（メタデータ） (2023-09-19T03:20:02Z)
• Heterogeneous Integration of In-Memory Analog Computing Architectures with Tensor Processing Units [0.0]
  本稿では,IMACユニットとエッジTPUを統合してモバイルCNNの性能を向上させる,新しい,異種,混合信号,混合精度アーキテクチャを提案する。 本稿では,TPU-IMACアーキテクチャ上にモデルをデプロイする際の潜在的な精度低下を軽減するために,混合精度トレーニング手法を取り入れた統合学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T19:44:56Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。