論文の概要: UnifiedNN: Efficient Neural Network Training on the Cloud

• arxiv url: http://arxiv.org/abs/2408.01331v1
• Date: Fri, 2 Aug 2024 15:29:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 12:58:15.430293
• Title: UnifiedNN: Efficient Neural Network Training on the Cloud
• Title（参考訳）: UnifiedNN: クラウド上での効率的なニューラルネットワークトレーニング
• Authors: Sifat Ut Taki, Spyridon Mastorakis, Arthi Padmanabhan,
• Abstract要約: UnifiedNNは複数のNNモデルを"組み合わせ"し、複数のNNモデルを同時にトレーニングするためのメモリと時間保存機構を備えている。 その結果,UnifiedNNは,最先端フレームワークと比較してメモリ消費を最大52%削減し,トレーニング時間を最大41%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 2.1119495676190128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, cloud-based services are widely favored over the traditional approach of locally training a Neural Network (NN) model. Oftentimes, a cloud service processes multiple requests from users--thus training multiple NN models concurrently. However, training NN models concurrently is a challenging process, which typically requires significant amounts of available computing resources and takes a long time to complete. In this paper, we present UnifiedNN to effectively train multiple NN models concurrently on the cloud. UnifiedNN effectively "combines" multiple NN models and features several memory and time conservation mechanisms to train multiple NN models simultaneously without impacting the accuracy of the training process. Specifically, UnifiedNN merges multiple NN models and creates a large singular unified model in order to efficiently train all models at once. We have implemented a prototype of UnifiedNN in PyTorch and we have compared its performance with relevant state-of-the-art frameworks. Our experimental results demonstrate that UnifiedNN can reduce memory consumption by up to 53% and training time by up to 81% when compared with vanilla PyTorch without impacting the model training and testing accuracy. Finally, our results indicate that UnifiedNN can reduce memory consumption by up to 52% and training time by up to 41% when compared to state-of-the-art frameworks when training multiple models concurrently.
• Abstract（参考訳）: 今日では、クラウドベースのサービスは、ニューラルネットワーク(NN)モデルをローカルにトレーニングする従来のアプローチよりも、広く支持されています。 多くの場合、クラウドサービスは、複数のNNモデルを同時にトレーニングするユーザからの複数のリクエストを処理する。 しかし、NNモデルを同時にトレーニングすることは難しいプロセスであり、通常は大量の利用可能なコンピューティングリソースを必要とし、完成までに長い時間がかかる。 本稿では,クラウド上で複数のNNモデルを効果的にトレーニングするためのUnifiedNNを提案する。 UnifiedNNは、複数のNNモデルを効果的に"結合"し、トレーニングプロセスの正確性に影響を与えることなく、複数のNNモデルを同時にトレーニングするためのメモリと時間保存機構を備えている。 具体的には、UnifiedNNは複数のNNモデルをマージし、全てのモデルを効率的に訓練するために大きな特異統一モデルを生成する。 我々はPyTorchでUnifiedNNのプロトタイプを実装し、そのパフォーマンスを関連する最先端フレームワークと比較した。 実験の結果,UnifiedNNは,モデルトレーニングやテスト精度に影響を与えることなく,バニラPyTorchと比較して最大53%,トレーニング時間は最大81%削減できることがわかった。 最後に、UnifiedNNは、複数のモデルを同時にトレーニングする際の最先端フレームワークと比較して、メモリ消費を最大52%削減し、トレーニング時間を最大41%削減できることを示す。

関連論文リスト

• Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs [2.1756721838833797]
  フェデレートされた機械学習は、複数のクライアントにわたるモデルトレーニングを可能にする。 Vertical Federated Learning (VFL)は、クライアントが同じサンプルの異なる機能セットを持つインスタンスを扱う。 スパイキングニューラルネットワーク(SNN)は、エッジでの高速かつ正確な処理を可能にするために活用されている。
  論文  参考訳（メタデータ） (2024-07-24T23:31:02Z)
• LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model [42.13762207316681]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。 本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:10:39Z)
• Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
  スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。 本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。 その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
  論文  参考訳（メタデータ） (2023-08-19T20:58:21Z)
• Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration [25.37391055865312]
  スパイキングニューラルネットワーク(SNN)は、極めてエネルギー効率のよいマシンインテリジェンスを提供する能力に対して、大きな注目を集めている。 ニューロジェネレーション・ダイナミクスにインスパイアされたスパイキングニューラルネットワークトレーニング・アクセラレーション・フレームワークであるNDSNNを提案する。 我々のフレームワークは計算効率が高く、モデルの忠実さを犠牲にすることなく、スクラッチから動的間隔でモデルを訓練する。
  論文  参考訳（メタデータ） (2023-04-24T15:54:22Z)
• Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks [5.246498560938275]
  BNN(Binarized Neural Networks)とINN(Neural Networks)を併用した,数ビット離散値ニューラルネットワークの事例について検討する。 コントリビューションは、可能なクラスごとにひとつのNNをトレーニングし、最終的な出力を予測するために多数決方式を適用する、多目的アンサンブルアプローチである。 我々は,このBeMiアプローチを,BNN学習に焦点をあてた問題解決型NNトレーニングと勾配型トレーニングの最先端技術と比較する。
  論文  参考訳（メタデータ） (2022-12-07T14:23:43Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。