論文の概要: PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2210.09147v1
• Date: Mon, 17 Oct 2022 14:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:30:16.282746
• Title: PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks
• Title（参考訳）: PartIME: ディープニューラルネットワークによる時間とともにスケーラブルで並列な処理
• Authors: Enrico Meloni, Lapo Faggi, Simone Marullo, Alessandro Betti, Matteo Tiezzi, Marco Gori, Stefano Melacci
• Abstract要約: PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
• 参考スコア（独自算出の注目度）: 68.96484488899901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present PARTIME, a software library written in Python and based on PyTorch, designed specifically to speed up neural networks whenever data is continuously streamed over time, for both learning and inference. Existing libraries are designed to exploit data-level parallelism, assuming that samples are batched, a condition that is not naturally met in applications that are based on streamed data. Differently, PARTIME starts processing each data sample at the time in which it becomes available from the stream. PARTIME wraps the code that implements a feed-forward multi-layer network and it distributes the layer-wise processing among multiple devices, such as Graphics Processing Units (GPUs). Thanks to its pipeline-based computational scheme, PARTIME allows the devices to perform computations in parallel. At inference time this results in scaling capabilities that are theoretically linear with respect to the number of devices. During the learning stage, PARTIME can leverage the non-i.i.d. nature of the streamed data with samples that are smoothly evolving over time for efficient gradient computations. Experiments are performed in order to empirically compare PARTIME with classic non-parallel neural computations in online learning, distributing operations on up to 8 NVIDIA GPUs, showing significant speedups that are almost linear in the number of devices, mitigating the impact of the data transfer overhead.
• Abstract（参考訳）: 本稿では,Pythonで書かれたPyTorchをベースとしたソフトウェアライブラリであるPartialIMEについて述べる。 既存のライブラリは、サンプルがバッチ化されていると仮定して、データレベルの並列性を利用するように設計されている。 異なることにPartialIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 partimeはフィードフォワードのマルチレイヤネットワークを実装したコードをラップし、グラフィック処理ユニット(gpu)など複数のデバイスにレイヤ単位で処理を分散する。 パイプラインベースの計算スキームのおかげで、partimeはデバイスが並列に計算を実行することができる。 推論時には、デバイス数に関して理論的に線形なスケーリング能力が得られる。 学習段階では、partimeはストリームデータの非i.i.d.特性を、効率的な勾配計算のために時間とともにスムーズに進化しているサンプルで活用することができる。 実験は、オンライン学習におけるpartimeと従来の非並列ニューラル計算を比較し、最大8nvidia gpuで操作を分散し、デバイス数でほぼ線形な大幅な高速化を示し、データ転送オーバーヘッドの影響を軽減するために行われる。

関連論文リスト

• Faster Multi-GPU Training with PPLL: A Pipeline Parallelism Framework Leveraging Local Learning [8.628231789161577]
  本稿では,ローカル学習アルゴリズムを活用する新しいフレームワークPPLL(Pipeline Parallelism based on Local Learning)を提案する。 GPU間のデータ転送を管理するキューを利用することで、PPLLはシームレスなクロスGPU通信を保証する。 その結果,PPLLは従来のパイプライン並列処理と同等あるいはそれ以上の訓練速度を達成しつつ,局所的な学習手法の学習速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-11-19T08:09:18Z)
• Streaming Factor Trajectory Learning for Temporal Tensor Decomposition [33.18423605559094]
  時相テンソル分解のためのストリーム係数軌道学習を提案する。 我々はガウス過程(GP)を用いて因子の軌道をモデル化し、その時間的進化を柔軟に推定する。 合成タスクと実世界のアプリケーションの両方において、SFTLの利点を示してきた。
  論文  参考訳（メタデータ） (2023-10-25T21:58:52Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Accelerating GAN training using highly parallel hardware on public cloud [0.3694429692322631]
  本研究は,GAN(Geneversarative Adversarial Network)を並列環境でトレーニングする,さまざまなタイプのクラウドサービスについて検討する。 複数のGPUとGoogle Processing Units(TPU)上でのトレーニングプロセスを並列化する。 トレーニングプロセスの線形スピードアップは、物理結果の観点から、ほとんどの性能を保ちながら得られる。
  論文  参考訳（メタデータ） (2021-11-08T16:59:15Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• OpTorch: Optimized deep learning architectures for resource limited environments [1.5736899098702972]
  時間や記憶など多面的に最適化された深層学習パイプラインを提案します。 OpTorchは、ニューラルネットワークトレーニングの既存の実装の弱点を克服するために設計された機械学習ライブラリである。
  論文  参考訳（メタデータ） (2021-05-03T03:58:57Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Unsupervised Parallel Corpus Mining on Web Data [53.74427402568838]
  並列コーパスを教師なしでインターネットからマイニングするためのパイプラインを提示する。 我々のシステムは、監督されたアプローチと比較しても、39.81と38.95のBLEUスコアを新たに生成する。
  論文  参考訳（メタデータ） (2020-09-18T02:38:01Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。