論文の概要: Embarrassingly Parallel Independent Training of Multi-Layer Perceptrons with Heterogeneous Architectures

• arxiv url: http://arxiv.org/abs/2206.08369v1
• Date: Tue, 14 Jun 2022 02:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 23:44:11.305556
• Title: Embarrassingly Parallel Independent Training of Multi-Layer Perceptrons with Heterogeneous Architectures
• Title（参考訳）: 異種アーキテクチャを用いた多層パーセプトロンのパラレル独立トレーニング
• Authors: Felipe Costa Farias, Teresa Bernarda Ludermir, Carmelo Jose Albanez Bastos-Filho
• Abstract要約: ParallelMLPsは、異なる数のニューロンとアクティベーション関数を並列に持つ複数の独立したパーセプトロンニューラルネットワークのトレーニングを可能にする手順である。 我々は,1万の異なるモデルを用いて,サンプル数,特徴量,バッチ数をシミュレーションデータセットで評価した。 逐次的アプローチと比較して1～4桁のトレーニングスピードアップを実現した。
• 参考スコア（独自算出の注目度）: 2.094821665776961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The definition of a Neural Network architecture is one of the most critical and challenging tasks to perform. In this paper, we propose ParallelMLPs. ParallelMLPs is a procedure to enable the training of several independent Multilayer Perceptron Neural Networks with a different number of neurons and activation functions in parallel by exploring the principle of locality and parallelization capabilities of modern CPUs and GPUs. The core idea of this technique is to use a Modified Matrix Multiplication that replaces an ordinal matrix multiplication by two simple matrix operations that allow separate and independent paths for gradient flowing, which can be used in other scenarios. We have assessed our algorithm in simulated datasets varying the number of samples, features and batches using 10,000 different models. We achieved a training speedup from 1 to 4 orders of magnitude if compared to the sequential approach.
• Abstract（参考訳）: ニューラルネットワークアーキテクチャの定義は、実行すべき最も重要で困難なタスクの1つである。 本稿では,parallelmlpsを提案する。 parallelmlpsは、新しいcpuとgpuの局所性と並列化の原理を探求することにより、異なる数のニューロンと活性化関数を持つ複数の独立した多層パーセプトロンニューラルネットワークの訓練を可能にする手順である。 この手法の中核となる考え方は、直交行列の乗法を2つの単純な行列演算によって置き換える修正行列乗法(Modified Matrix Multiplication)を使用することである。 我々は,1万の異なるモデルを用いて,サンプル数,特徴量,バッチ数をシミュレーションデータセットで評価した。 逐次アプローチと比較して,1桁から4桁までのトレーニングスピードアップを達成できた。

関連論文リスト

• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Parallel Neural Networks in Golang [0.0]
  本稿では,並列ニューラルネットワーク(PNN)と新しいプログラミング言語Golangの設計と実装について述べる。 Golangとその固有の並列化サポートは、並列ニューラルネットワークシミュレーションにおいて、シーケンシャルなバリエーションに比べて処理時間が大幅に短縮されていることが証明された。
  論文  参考訳（メタデータ） (2023-04-19T11:56:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
  微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。 前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。 一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
  論文  参考訳（メタデータ） (2022-01-29T10:00:35Z)
• Parallel Simulation of Quantum Networks with Distributed Quantum State Management [56.24769206561207]
  我々は、量子ネットワークの並列シミュレーションの要件を特定し、最初の並列離散事象量子ネットワークシミュレータを開発する。 コントリビューションには、複数のプロセスに分散した共有量子情報を維持する量子状態マネージャの設計と開発が含まれています。 既存のシーケンシャルバージョンと並行してオープンソースツールとして,並列SeQUeNCeシミュレータをリリースする。
  論文  参考訳（メタデータ） (2021-11-06T16:51:17Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference [15.720414948573753]
  複数の処理ノード(ワーカ)上で既に訓練済みのディープモデルの並列実装について検討する。 並列化モデル全体の性能を保証するレイヤワイドモデル再構成およびプルーニング手法であるRePurposeを提案する。 既存の手法と比較して,RePurposeは並列実装による分散推論の効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-19T06:44:41Z)
• A Linear Algebraic Approach to Model Parallelism in Deep Learning [0.0]
  ネットワークのサイズと複雑さが大きくなるにつれて、大規模クラスタコンピューティング環境でのディープニューラルネットワーク(DNN)のトレーニングがますます必要になる。 深層学習における並列性をモデル化するための線形代数的手法を提案し,DNNにおけるテンソルの並列分布を実現する。 本研究では,これらの並列プリミティブを用いて分散DNN層を構築し,PyTorchおよびMPIベースの分散ディープラーニングツールキットであるDistDLを用いて分散DNNを構築し,訓練することにより,それらのアプリケーションを実演する。
  論文  参考訳（メタデータ） (2020-06-04T19:38:05Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。