論文の概要、ライセンス

# (参考訳) レイヤワイド適応レートスケーリング(LARS)最適化を用いたシステムMLのディープラーニング評価 [全文訳有]

Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer ( http://arxiv.org/abs/2102.03018v1 )

ライセンス: CC0 1.0
Kanchan Chowdhury, Ankita Sharma and Arun Deepak Chandrasekar(参考訳) ディープラーニングモデルのバッチサイズを増加させることは、難しい課題です。 モデルのトレーニングフェーズで利用可能なシステムメモリをフル活用するのに役立つかもしれないが、ほとんどの場合、テスト精度が著しく低下する。 LARSはディープラーニングモデルの各層に対して適応学習率を導入することでこの問題を解決した。 しかし、SystemMLやMLlibのような分散機械学習システムが、このオプティマイザでどのように機能するかには疑問がある。 本研究では, LARSオプティマイザをSystemMLを用いて実装したディープラーニングモデルに適用し, 各種バッチサイズでの実験を行い, LARSオプティマイザの性能を \textit{Stochastic Gradient Descent} と比較した。 実験の結果,分散機械学習フレームワークであるSystemMLでも,LARSオプティマイザはStochastic Gradient Descentよりも大きなバッチサイズを実現していることがわかった。

Increasing the batch size of a deep learning model is a challenging task. Although it might help in utilizing full available system memory during training phase of a model, it results in significant loss of test accuracy most often. LARS solved this issue by introducing an adaptive learning rate for each layer of a deep learning model. However, there are doubts on how popular distributed machine learning systems such as SystemML or MLlib will perform with this optimizer. In this work, we apply LARS optimizer to a deep learning model implemented using SystemML.We perform experiments with various batch sizes and compare the performance of LARS optimizer with \textit{Stochastic Gradient Descent}. Our experimental results show that LARS optimizer performs significantly better than Stochastic Gradient Descent for large batch sizes even with the distributed machine learning framework, SystemML.
公開日: Fri, 5 Feb 2021 06:23:56 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 b e F 5 1 2 0 2 b e F 5 0.85
] G L . ] G L。 0.79
s c [ 1 v 8 1 0 3 0 sc [ 1 v 8 1 0 3 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling 層型適応率スケーリングを用いたシステムMLにおける深層学習の評価 0.63
(LARS) Optimizer (LARS)オプティマイザ 0.55
Kanchan Chowdhury カンちゃん チャウダーリー 0.40
Ankita Sharma Arun Deepak Chandrasekar 安喜多シャーマ Arun Deepak Chandrasekar 0.61
Arizona State University Arizona State University アリゾナ州立大学 アリゾナ州立大学 0.78
Arizona State University Tempe, Arizona アリゾナ州立大学 アリゾナ州テンペ 0.65
Tempe, Arizona Tempe, Arizona アリゾナ州テンペ アリゾナ州テンペ 0.52
kchowdh1@asu.edu kchowdh1@asu.edu 0.67
ashar236@asu.edu ashar236@asu.edu 0.67
achand66@asu.edu achand66@asu.edu 0.67
Abstract Increasing the batch size of a deep learning model is a challenging task. 概要 ディープラーニングモデルのバッチサイズを増加させることは、難しい課題です。 0.51
Although it might help in utilizing full available system memory during training phase of a model, it results in significant loss of test accuracy most often. モデルのトレーニングフェーズで利用可能なシステムメモリをフル活用するのに役立つかもしれないが、ほとんどの場合、テスト精度が著しく低下する。 0.67
LARS[11] solved this issue by introducing an adaptive learning rate for each layer of a deep learning model. LARS[11]はディープラーニングモデルの各層に対して適応学習率を導入することでこの問題を解決した。 0.83
However, there are doubts on how popular distributed machine learning systems such as SystemML[1] or MLlib[7] will perform with this optimizer. しかし、SystemML[1] や MLlib[7] のような分散機械学習システムが、このオプティマイザでどのように機能するかには疑問がある。 0.66
In this work, we apply LARS optimizer to a deep learning model implemented using SystemML.We perform experiments with various batch sizes and compare the performance of LARS optimizer with Stochastic Gradient Descent. 本研究では, LARSオプティマイザをSystemMLを用いて実装したディープラーニングモデルに適用し, 各種バッチサイズでの実験を行い, LARSオプティマイザの性能をStochastic Gradient Descentと比較した。 0.73
Our experimental results show that LARS optimizer performs significantly better than Stochastic Gradient Descent for large batch sizes even with the distributed machine learning framework, SystemML. 実験の結果,分散機械学習フレームワークであるSystemMLでも,LARSオプティマイザはStochastic Gradient Descentよりも大きなバッチサイズを実現していることがわかった。 0.74
1. Introduction Applications of deep learning to solve problems such as classification, regression and prediction have seen tremendous growth in this era because of its success in solving these problems. 1. はじめに 分類、回帰、予測といった問題を解決するためのディープラーニングの応用は、これらの問題を解決することに成功し、この時代に大きな成長を遂げている。
訳抜け防止モード: 1. はじめに ディープラーニングの応用 分類、回帰、予測などの問題を解決する この時代の大きな成長は これらの問題の解決に成功しているからです
0.70
The availability of large-scale datasets and high-performance computing devices have also enlarged the scope of deep learning algorithms. 大規模データセットと高性能コンピューティングデバイスも利用可能になり、ディープラーニングアルゴリズムの範囲が拡大した。 0.69
Although deep learning is helping us find automated solutions to many real-world problems, the time required for training a large deep learning model has always been a bottleneck. ディープラーニングは多くの現実世界の問題に対する自動化ソリューションを見つけるのに役立ちますが、大規模なディープラーニングモデルのトレーニングに必要な時間は常にボトルネックになっています。 0.56
It is seen that some deep learning models even take several days to finish. いくつかのディープラーニングモデルは、完成までに数日もかかります。 0.65
The time required for training a deep learning model depends mainly on two things: volume of the dataset and size of the model. ディープラーニングモデルのトレーニングに必要な時間は、主にデータセットのボリュームとモデルのサイズの2つのものに依存します。 0.77
Nowadays, because of the availability of various sensor devices, data volume is increasing rapidly. 現在、様々なセンサデバイスが利用可能であるため、データボリュームは急速に増加している。 0.72
It is a common and also required practice to feed a deep learning model with a huge volume of dataset. これは、膨大な量のデータセットでディープラーニングモデルに餌をやるのに一般的かつ必要なプラクティスである。
訳抜け防止モード: それは一般的な、また必要な練習です。 膨大な量のデータセットをディープラーニングモデルに与えます
0.63
This immense size of train- 電車のこの巨大なサイズ。 0.67
ing data results in long training time which is a bottleneck of deep learning models. ingデータは、ディープラーニングモデルのボトルネックである長いトレーニング時間をもたらします。 0.68
Besides the size of the dataset, various giant technology companies need to train deep learning models with a lot of layers and parameters. データセットのサイズに加えて、さまざまな巨大テクノロジー企業は、多くの層とパラメータを持つディープラーニングモデルを訓練する必要があります。 0.71
For example, a popular deep learning model, ResNet-50[4] has around 25.6 million parameters. 例えば、人気のあるディープラーニングモデルであるResNet-50[4]は約2560万のパラメータを持つ。 0.61
This numerous number of parameters is another reason for slow deep learning training. この多数のパラメータが、ディープラーニングトレーニングの遅いもう1つの理由です。 0.66
As data size increases, deep learning models need to process a large set of data in memory. データサイズが大きくなるにつれて、ディープラーニングモデルは大量のデータをメモリで処理する必要がある。
訳抜け防止モード: データサイズが大きくなるにつれ、ディープラーニングモデルは必要となる 大量のデータをメモリで処理します
0.81
Today, because of the improvement of computing devices, feeding large data into memory is not a problem. 今日では、コンピュータ装置の改良により、大きなデータをメモリに供給することは問題にならない。 0.74
Google and some other companies have computing devices that are so powerful that even the largest deep learning models cannot make full use of these computing devices. Googleや他の企業には、非常に強力なコンピューティングデバイスがあり、最大規模のディープラーニングモデルでさえ、これらのコンピューティングデバイスを最大限に活用することはできません。
訳抜け防止モード: googleや他の企業には コンピューター装置があり 巨大なディープラーニングモデルでさえ、これらのコンピューティングデバイスをフル活用できないほど強力です。
0.77
Considering that these superpowerful computing devices are available, is it possible to reduce the training time of the largest deep learning models significantly without affecting the accuracy? これらの超強力コンピューティングデバイスが利用可能であることを考えると、最大のディープラーニングモデルのトレーニング時間を、精度に影響を与えることなく大幅に短縮できるだろうか? 0.65
It is observed that an increase in the batch size results in a decrease in total training time. その結果,バッチサイズの増加はトレーニング時間全体の減少をもたらすことがわかった。 0.72
Increasing the batch size up to a certain threshold is also good for the accuracy of deep learning. バッチサイズを一定のしきい値まで増やすことは、ディープラーニングの精度にも適しています。
訳抜け防止モード: バッチサイズを一定のしきい値まで増加させる 深層学習の正確さにも 役立ちます。
0.79
Another important fact to note is that increasing the batch size indefinitely reduces the model accuracy significantly which prevents deep learning practitioners to keep the batch size within reasonable limit although they might have powerful computing devices to feed the data into memory. もうひとつの重要な事実は、バッチサイズの増加がモデル精度を著しく低下させることで、ディープラーニングの実践者が、データをメモリに供給する強力なコンピューティングデバイスがあるとしても、バッチサイズを合理的な制限内に保持することができないことだ。
訳抜け防止モード: もう1つの重要な事実は、バッチサイズの増加がモデル精度を著しく低下させ、ディープラーニングの実践者がバッチサイズを妥当な制限に維持するのを防ぐことである。 データをメモリに供給する 強力なコンピューティング装置があるかもしれない
0.68
Besides increasing the batch size, another possible solution to reduce the training time is parallelizing deep learning. バッチサイズの増加に加えて、トレーニング時間を短縮する別の可能なソリューションとして、ディープラーニングの並列化がある。 0.49
Training process of a deep learning model can be parallelized in two ways: parallelizing data and parallelizing models. ディープラーニングモデルのトレーニングプロセスは、並列化データと並列化モデルという2つの方法で並列化することができる。 0.65
Machine learning systems such as TensorFlow allow us to parallelize deep learning training. TensorFlowなどの機械学習システムは、ディープラーニングトレーニングを並列化することができます。 0.67
Besides, we also have distributed systems such as Apache Spark[12]. さらに、Apache Spark[12]のような分散システムもあります。 0.65
Some other machine learning libraries are also available on top of Apache Spark which include but are not limited to SystemML[1], MLlib[7], etc. 他の機械学習ライブラリは、SystemML[1]、MLlib[7]などを含むがこれらに限定されないApache Spark上でも利用できる。 0.80
All these distributed systems are helping us parallelize deep learning training to reduce training time. これらの分散システムは、ディープラーニングトレーニングの並列化を支援して、トレーニング時間を短縮します。
訳抜け防止モード: これらの分散システムは 深層学習の訓練を並列化して 訓練時間を短縮します
0.75
Is it possible to further reduce the training time as well as increase the batch size while maintaining the test accuracy of the model? モデルのテスト精度を維持しながら、トレーニング時間をさらに短縮し、バッチサイズを増加させることは可能か? 0.79
1 1 0.85
英語(論文から抽出)日本語訳スコア
As we discussed earlier, training of a deep learning model can be parallelized through either data parallelism or model parallelism. 先に述べたように、ディープラーニングモデルのトレーニングは、データ並列性またはモデル並列性を通じて並列化することができる。 0.64
We cannot only rely on data parallelism because the model size (number of parameters and layers) is too big sometimes which makes model parallelism a mandatory option. モデルのサイズ(パラメータとレイヤの数)が大きすぎるため、モデル並列性が必須の選択肢になるため、データ並列性に頼ることはできません。 0.77
Again, model parallelism can be done in two ways: 1) parallelize within each layer and 2) parallelize across different layers. 繰り返しますが、モデル並列処理は、1)各層内で並列化、2)異なる層間で並列化、という2つの方法で実行できます。
訳抜け防止モード: モデル並列化は2つの方法で行うことができる。 1 ) 各レイヤ内で並列化し、2 ) 異なるレイヤ間で並列化する。
0.72
Each of these approaches has problems. これらのアプローチにはそれぞれ問題がある。 0.62
The problem with parallelizing within each layer is that the wide model is not efficient. 各層における並列化の問題は、ワイドモデルが効率的でないことである。 0.71
A deep model can be better than a wide model. 深いモデルは広いモデルより優れているかもしれない。 0.82
Also, the problem with parallelizing across different layers is that parallel efficiency is low which is 1/P. また、異なる層にまたがる並列化の問題は、並列効率が1/Pであるということです。
訳抜け防止モード: また、異なる層にまたがる並列化の問題は、 平行効率は1/Pである低いです。
0.81
So, the solution is combining model parallelism with data parallelism. したがって、解決策はモデル並列性とデータ並列性を組み合わせることです。 0.64
Scaling a machine learning model is a difficult task. 機械学習モデルのスケーリングは難しい作業です。 0.73
Most often, it results in the generalization problem. ほとんどの場合、それは一般化問題を引き起こします。 0.75
The generalization problem indicates we might end up in high training accuracy while test accuracy is very low. 一般化問題は、テスト精度が非常に低い間、高いトレーニング精度で終わる可能性があることを示している。
訳抜け防止モード: 一般化問題は テストの精度がとても低い間に 高い訓練の精度で終わるかもしれません
0.78
A promising solution can be auto-tuning the learning rate while scaling the batch size. 有望なソリューションは、バッチサイズを拡大しながら学習率を自動調整することだ。 0.61
Another idea is using different learning rates for different layers. 別のアイデアは、異なる層に異なる学習率を使用することです。 0.63
This idea of layer-wise adapting the learning rate for increased batch size was first introduced by LARS[11] for deep learning in systems such as TensorFlow. バッチサイズの増加に対する学習速度を層的に適応するというこのアイデアは、TensorFlowなどのシステムにおけるディープラーニングのためにLARS[11]によって最初に導入された。
訳抜け防止モード: レイヤーのこの考え-賢く バッチサイズの増加に学習率を適用する TensorFlowなどのシステムでディープラーニングを実現するため、LARS[11 ]が最初に導入した。
0.72
It showed that batch size can be increased significantly even on the CPU by the use of a layer-wise adaptive learning rate technique. 層別適応学習率技術を用いて,CPU上でもバッチサイズが大幅に向上できることを示した。 0.70
A standard value of learning rate is effective to train a model perfectly, but it always results in a long training time. 学習率の標準値は、モデルを完璧にトレーニングするのに有効であるが、常に長いトレーニング時間をもたらす。 0.81
Again, a larger value learning rate speeds up the training process, but it might result in under-fitting the model. 繰り返しになるが、値学習率が大きくなるとトレーニングプロセスがスピードアップするが、モデルが不適合になる可能性がある。 0.65
Learning rate decay is a proven solution to mitigate this problem. 学習率の低下は、この問題を軽減するための実証済みのソリューションです。 0.55
The idea of learning rate decay is to start with an initial learning rate and to change the learning rate after every epoch at a constant rate. 学習率の減衰の考え方は、初期学習率から始め、エポック毎の学習率を一定の割合で変化させることである。 0.77
The problem is updating the learning rate at a constant rate after every epoch does not help much which inspires the invention of algorithms such as LARS[11] and LAMB[10]. この問題は,LARS[11] や LAMB[10] などのアルゴリズムの発明に刺激を与えるような,各エポック後の学習率を一定速度で更新することにある。 0.76
Inspired by the success of LARS and LAMB, our proposal is to apply these algorithms to speed up machine learning on top distributed machine learning systems such as SystemML. LARSとLAMBの成功に触発されて、SystemMLのような分散機械学習システム上での機械学習の高速化にこれらのアルゴリズムを適用することを提案する。 0.79
For this phase of our project, we focus only on LARS optimizer instead of trying both LARS and LAMB optimizers. プロジェクトのこのフェーズでは、LARSとLAMBのオプティマイザを試す代わりに、LARSオプティマイザのみに焦点を当てています。 0.34
We selected SystemML in this project for two reasons. 本プロジェクトでは2つの理由からSystemMLを選定しました。 0.63
Firstly, this distributed machine system is not yet as optimized as TensorFlow or PyTorch for deep learning. まず、この分散マシンシステムはディープラーニングのためにTensorFlowやPyTorchほど最適化されていない。 0.65
The LARS implementation is not available for this framework. LARSの実装はこのフレームワークでは利用できない。 0.76
Our second reason for selecting SystemML is that it can be used on top of Apache Spark. SystemMLを選択する2番目の理由は、Apache Spark上で使用できることです。 0.81
Although distributed deep learning is supported by TensorFlow and PyTorch, Apache Spark seems to be very effective for inter-cluster communication. 分散ディープラーニングはTensorFlowとPyTorchでサポートされているが、Apache Sparkはクラスタ間通信に非常に効果的である。 0.64
This is because Apache Spark is mainly developed for distributed and large scale systems. これはApache Sparkが主に分散および大規模システム向けに開発されているためである。 0.69
Spark RDDs are very fast and effective for remote memory access. Spark RDDは非常に高速で、リモートメモリアクセスに有効です。 0.80
The summary of our contribution is outlined below: あらすじ 私たちの貢献の要約は下記のとおりです。 0.48
• Applying LARS optimizer to a deep learning model •深層学習モデルへのLARSオプティマイザの適用 0.71
implemented using SystemML. SystemMLを使って実装。 0.70
• Comparing test accuracy of LARS optimizer with that LARSオプティマイザの試験精度とそれの比較 0.72
of Stochastic Gradient Descent. 確率的なグラデーションの日差し。 0.39
• Evaluating test and training accuracy by increasing ※増設による試験・訓練精度の評価 0.76
batch size. • Reducing the generalization error using LARS opti- バッチサイズ。 • LARS opti を用いた一般化誤差の低減- 0.68
mizer. • Finding the challenges in applying LARS optimization マイザー •lars最適化の課題を見つける 0.51
technique to SystemML. SystemMLのテクニック。 0.71
2. Related Work The use of machine learning and deep learning-based algorithms has been increasing for a long time for various applications. 2. 関連作品 機械学習とディープラーニングベースのアルゴリズムの使用は、さまざまなアプリケーションで長い間増加しています。 0.79
Various platforms like Tensorflow, PyTorch, and Keras provide extensive functionality in order to support data parallelism and model parallelism. Tensorflow、PyTorch、Kerasといったさまざまなプラットフォームは、データ並列性とモデル並列性をサポートする広範な機能を提供する。 0.73
While data parallelism has its own disadvantage of not getting fit if the model is too large even if it can support accelerating the training process. データ並列処理は、たとえトレーニングプロセスの加速をサポートできたとしても、モデルが大きすぎると適合しないという独自の欠点がある。 0.67
The model parallelism has been proposed in various applications in order to solve this issue. この問題を解決するために、モデル並列性は様々なアプリケーションで提案されている。 0.72
Recently model parallelism has been successfully implemented for relational databases[5]. 近年,リレーショナルデータベースのためのモデル並列化が成功している[5]。 0.80
This computation on an RDBMS has been implemented by applying machine learning-based algorithms. RDBMS上のこの計算は、機械学習ベースのアルゴリズムを適用して実装されている。 0.67
They proposed that different parts of the model can be stored in a set of tables and SQL queries can be used for computation purposes. 彼らはモデルのさまざまな部分がテーブルの集合に格納でき、SQLクエリは計算目的に使用できると提案した。 0.70
RDBMS has been studied widely for distributed computing for a long time. RDBMSは分散コンピューティングのために長い間広く研究されてきた。 0.79
The paper has also discussed challenges in involving RDBMS with ML/DL algorithms. ML/DLアルゴリズムにRDBMSを組み込む際の課題についても論じている。 0.57
They have introduced multi-dimensional array-like indices for database tables, the improved query optimizer. 彼らはデータベーステーブルに多次元配列ライクなインデックスを導入し、クエリオプティマイザを改善した。 0.63
It uses SimSQL which scales to large model size and can outperform TensorFlow. SimSQLは、大規模なモデルサイズにスケールし、TensorFlowを上回ります。 0.74
It shows that model parallelism for RDBMS based ML system can be scaled well and perform better than even Tensorflow. RDBMSベースのMLシステムのモデル並列性は、Tensorflowよりもうまくスケールし、実行できることを示しています。 0.76
The paper LARS[11] focuses on speeding up deep neural network training. 論文LARS[11]は、ディープニューラルネットワークトレーニングのスピードアップに焦点を当てている。 0.69
Their approach focuses on increasing batch size using Layer-wise Adaptive Rate Scaling(LARS) for efficient use of massive resources. 彼らのアプローチは、大量のリソースを効率的に利用するためにLayer-wise Adaptive Rate Scaling(LARS)を使用してバッチサイズを増やすことに焦点を当てている。
訳抜け防止モード: 彼らのアプローチは 大量のリソースを効率的に使用するために、Layer - wise Adaptive Rate Scaling(LARS)を使用してバッチサイズを増やす。
0.60
They train Alexnet and Resnet-50 using the Imagenet-1k dataset while maintaining its state of the art accuracy. 彼らはimagenet-1kデータセットを使用してalexnetとresnet-50をトレーニングし、その精度を維持している。 0.59
However, they successfully increase the batch size to larger than 16k, thereby, reducing the training time of 100 epoch Alexnet from hours to 11 minutes and the 90-epoch ResNet-50 from hours to 20 minutes. しかし、バッチサイズを16kより大きくすることで、100epoch alexnetのトレーニング時間を時間から11分に短縮し、90-epoch resnet-50を時間から20分に短縮した。 0.73
Their system, for 90 epoch Resnet 50 returns an accuracy of 75.4% with a batch size of 32k but reduces to 73.2% when it is 64k. 90 epoch Resnet 50のシステムは、バッチサイズ32kの75.4%の精度を返すが、64kの場合には73.2%に低下する。 0.83
Their system clearly shows the extent to which large scale computers are capable of accelerating the training of a DNN by using massive resources with standard Imagenet-1k. 彼らのシステムは、標準のImagenet-1kで大量のリソースを使用することで、大規模コンピュータがDNNの訓練を加速できる範囲を明確に示している。 0.70
In LAMB[10] they use a novel layerwise adaptive large LAMB[10]では、新しい層ワイド適応型サイズを用いる 0.74
2 2 0.85
英語(論文から抽出)日本語訳スコア
batch optimization technique called LAMB. LAMBというバッチ最適化技術。 0.63
While LARS works well for Resnet, it performs poorly for attention models like BERT[3]. LARSはResnetではうまく機能しますが、BERT[3]のような注意モデルでは不十分です。 0.59
However, empirical results showed superior results with LAMB across systems like BERT with very little hyperparameter tuning. しかし、実験の結果は、超パラメータチューニングが極めて少ないBERTのようなシステム間でのLAMBよりも優れた結果を示した。 0.53
BERT could be trained with huge batch sizes of 32868 without degradation in performance. BERTは性能を低下させることなく32868の巨大なバッチサイズで訓練できる。 0.79
Hence, the training time of BERT reduced from 3 days to 76 minutes. そのため、BERTのトレーニング時間は3日から76分に短縮された。 0.61
3. Methodology In this section, we define the architecture of our convolutional neural network at first. 3. 方法論 このセクションでは、まず畳み込みニューラルネットワークのアーキテクチャを定義します。 0.70
After that, we discuss LARS[11] optimization technique in details. その後、LARS[11]最適化手法の詳細について論じる。 0.73
3.1. Model Architecture 3.1. モデルアーキテクチャ 0.72
Our CNN model consists of 2 convolution layers followed by 3 fully connected layers including the classification layer. cnnモデルは2つの畳み込み層と、分類層を含む3つの完全連結層からなる。 0.74
The first convolution layer has 6 filters of size 5 × 5 with zero padding. 最初の畳み込み層は、0パディングでサイズ5×5の6つのフィルターを有する。 0.71
The second convolution layer has 16 filters of size 5×5 with zero padding. 第2の畳み込み層は、0パディングでサイズ5×5の16のフィルタを有する。 0.63
There are two MAX Pooling layers with 2x2 filter. 2x2フィルタを持つ2つの最大プール層がある。 0.66
Each pooling layer follows one convolution layer. 各プーリング層は1つの畳み込み層に従う。 0.65
The first and second fully connected layers have dimensions 120 and 84 respectively, while the third fully connected layer is of size 10. 第1および第2の完全連結層はそれぞれ寸法120と84を持ち、第3の完全連結層はサイズ10である。 0.90
We apply ReLU activation function for all layers except the last layer, which has softmax activation. ソフトマックスアクティベーションを持つ最後の層を除くすべての層に対して、ReLUアクティベーション機能を適用します。 0.73
We apply cross-entropy loss function in the last layer. 最後の層にクロスエントロピー損失関数を適用する。 0.76
We don't apply any dropout to any layer. どんな層にもドロップアウトは適用しません。 0.71
The architectural structure of our convolutional neural network is shown in Figure 1. 畳み込みニューラルネットワークのアーキテクチャ構造を図1に示します。 0.64
Input Imaget 5x5 Filter + 画像入力 5x5 filter + 0.71
Relu 2X2 Filter ルル 2X2フィルタ 0.56
5x5 Filter + 5x5 filter + 0.70
Relu 2X2 Filter ルル 2X2フィルタ 0.56
28x28x1 Conv2D(6) MaxPooling2D 28x28x1 Conv2D(6) MaxPooling2D 0.55
Conv2D(16) Conv2D 16) 0.93
MaxPooling2D MaxPooling2D 0.59
Output . . . 10 出力 . . . 10 0.84
Softmax 84 Relu Softmax 84 ルル 0.76
120 Relu Figure 1: Architecture of our Convolutional Neural Network 120ルル 図1:畳み込みニューラルネットワークのアーキテクチャ 0.64
3.2. LARS Optimizer 3.2. LARSオプティマイザ 0.62
Standard Stochastic Gradient Descent (SGD)[9] uses same Learning Rate (LR) in each layer. Standard Stochastic Gradient Descent (SGD)[9]は、各レイヤで同じ学習率(LR)を使用します。 0.85
The problems are two-fold. Firstly, if the learning rate is small, the convergence of training might take too much time. 問題は2つある。 まず、学習率が小さい場合、トレーニングの収束には時間がかかりすぎる可能性がある。 0.79
Sometimes, it might not even converge. 時には収まらないこともある。 0.68
Secondly, if the learning rate is 第二に、学習率である場合。 0.73
high, the training process might end up with under-fitting of the model. 高い、訓練プロセスはモデルの不十分な適合と終わるかもしれません。 0.62
In order to prevent under-fitting, the initial phase of training should be highly sensitive to the weight initialization and initial learning rate[11]. 不適合を防ぐため、トレーニングの初期フェーズは、体重初期化と初期学習率[11]に非常に敏感である必要がある。 0.74
LARS[11] claims that the L2-norm of weights and gradients varies significantly between weights and biases, and between different layers. LARS[11]は、重量と勾配のL2ノルムは重量とバイアス、そして異なる層の間で大きく異なると主張している。
訳抜け防止モード: LARS[11 ]は 重みと勾配のL2ノルムは、重みとバイアス、および異なる層の間で大きく変化する。
0.78
Training might become unstable if learning rate is large compared to this ratio in some layers. 学習率がこの比率に比べて高い場合、トレーニングは不安定になる可能性がある。 0.65
In order to solve this problem, there is a popular approach called learning rate warm-up. この問題を解決するために、学習率ウォームアップと呼ばれる一般的なアプローチがある。 0.66
This approach starts with a small learning rate which can be used for any layer and slowly increases the learning rate. このアプローチは、任意の層で使用でき、徐々に学習率を増加させる小さな学習率から始まります。 0.80
Instead of maintaining a single global learning rate, LARS maintains separate local learning rate for each layer. LARSは、単一のグローバル学習率を維持する代わりに、各層ごとに別のローカル学習率を維持します。 0.67
Equation 1 is used to calculate the weight using the local and global learning rate. 式1は、局所的および大域的学習率を用いて体重を計算するために用いられる。 0.68
∆wl t = γ ∗ λl ∗ ∇L(wt) シュル t = γ ∗ λl ∗ L(wt) 0.64
(1) In Equation 1, γ is the global learning rate and λl is the layer-wise local learning rate. (1) Equation 1 では γ はグローバル学習率であり、λl はレイヤワイズな局所学習率である。 0.84
Local learning rate for each layer is defined through a trust co-efficient which is much smaller than 1. 各レイヤの局所学習率は、1よりもはるかに小さい信頼共効率によって定義される。 0.77
Trust co-efficient defines how much a layer can be trusted to change its weight during update. trust co- efficientは、更新時にレイヤの重み付けをどの程度変更できるかを定義する。 0.69
Local learning rate can be calculated using Equation 2. 局所学習率はEquation 2を使って計算できる。 0.78
λl = η ∗ ||wl|| λl = η ∗ ||wl|| 0.69
||∇L(wl)|| (2) ||(wl)|| (2) 0.84
In Equation 2, η is the trust coefficient. 方程式 2 では η は信頼係数である。 0.83
In case of Stochastic Gradient Descent, a term known as weight decay[8] can be used. Stochastic Gradient Descentの場合、重量崩壊[8]と呼ばれる用語が使用できます。 0.66
Equation for calculating local learning rate can also be extended to balance the learning rate with weight decay according to Equation 3. 局所学習率の計算式は、学習率と体重減少を等式3に従ってバランスさせるように拡張することもできる。 0.72
λl = η ∗ ||wl|| λl = η ∗ ||wl|| 0.69
||∇L(wl)|| + β ∗ ||wl|| ||\L(wl)|| + β ∗ ||wl|| 0.71
(3) In Equation 3, β is the weight decay term. (3) 式3では、βは重み減衰項である。 0.78
Local learning rate helps to partially eliminate vanishing and exploding gradient problems[11]. 局所学習速度は,勾配問題の消失と爆発を部分的に排除するのに役立つ[11]。 0.64
4. Experimental Evaluation In this section, we define evaluation strategy and report experimental results. 4. 実験的評価 本稿では,評価戦略を定義し,実験結果を報告する。 0.82
At first, we show the configuration of our machine. 最初に、私達は私達の機械の構成を示します。 0.71
After that, we state evaluation metric, evaluation dataset and parameter settings. その後,評価指標,評価データセット,パラメータ設定について述べる。 0.83
Finally, we graphically report experimental results. 最後に,実験結果をグラフィカルに報告する。 0.66
4.1. System Configuration 4.1. システム構成 0.76
We run our experiments in a Intel(R) Core(TM) i7-4790 CPU. 実験をIntel(R) Core(TM) i7-4790 CPUで実行します。 0.87
The CPU frequency is 3.6 GHz and has 8 cores. CPU周波数は3.6GHz、8コアである。 0.83
L1d, L1i, L2, and L3 caches are 32K, 32K, 256K and 8192K respectively. L1d, L1i, L2, L3キャッシュはそれぞれ32K, 32K, 256K, 8192Kである。 0.70
Operating system version is Ubuntu 18.04.3 LTS x86 64. os版はubuntu 18.04.3 lts x86 64。 0.67
We use 4 parallel batches to investigate the performance in a parallel and distributed setting. 4つの並列バッチを使用して、並列および分散設定でパフォーマンスを調査します。 0.69
3 3 0.85
英語(論文から抽出)日本語訳スコア
4.2. Evaluation Metric and Parameter Setting 4.2. 評価指標とパラメータ設定 0.72
Dataset Used: MNIST Dataset[6] Evaluation Metrics: We used three different evaluation metrics to evaluate the performance of our system which include Test Accuracy, Train Accuracy, and Generalization Error. MNIST Dataset[6] Evaluation Metrics: テスト精度、トレイン精度、一般化エラーを含む、システムのパフォーマンスを評価するために、3つの異なる評価指標を使用しました。 0.79
Generalization Error indicates the difference between training accuracy and test accuracy. 一般化誤差は、トレーニング精度とテスト精度の違いを示す。 0.81
Generalization error is high when a model gains very high training accuracy but low test accuracy. モデルが非常に訓練精度が高いが、テスト精度が低い場合、一般化誤差が高い。 0.78
Normally, increasing batch size in stochastic gradient descent results in large generalization error. 通常、確率勾配降下におけるバッチサイズの増加は、大きな一般化誤差をもたらす。 0.63
We select this evaluation metric because the goal of our system is to reduce the generalization error. 本システムの目的は、一般化誤差の低減にあるため、本評価指標を選定します。 0.74
Parameter Setting: The values of various parameters パラメータ設定: さまざまなパラメータの値。 0.85
used for our CNN model training is reported in table 1. cnnモデルトレーニングに使用すると、テーブル1で報告します。 0.72
y c a r u c c A t s e T y c a r u c c a t s e t 0.82
100 80 60 40 100 80 60 40 0.85
20 0 SGD LARS 20 0 SGD LARS 0.85
128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 0.85
Batch Size Parameters バッチサイズ パラメータ 0.76
Initial Learning rate Learning rate Decay 初期学習率学習率の減衰 0.84
Weight Decay Momentum 重量減少 モーメント 0.58
Trust Coefficient Values 0.01 信頼係数 値 0.01 0.69
0.0001 0.0001 0.0001 0.0001 0.50
0.9 0.001 Number of Parallel Batches 0.9 0.001 並列バッチの数 0.64
4 Figure 2: Test Accuracy of SGD and LARS Optimizers with Increasing Batch Size 4 図2:バッチサイズを増大させるSGDおよびLARS最適化器のテスト精度 0.82
batch size reaches 16000. バッチサイズは16000に達する。 0.69
LARS outperforms SGD for both train accuracy and test accuracy if batch size is larger than or equal to 16000. LARSは、バッチサイズが16000より大きい場合、列車の精度と試験精度の両方でSGDより優れています。 0.69
Table 1: Values of various parameters used during model training 表1:モデルトレーニングで使用する各種パラメータの値 0.85
4.3. Experimental Results This subsection reports all experimental results in a graphical way. 4.3. 実験結果 このセクションは、すべての実験結果をグラフィカルに報告します。 0.72
Figure 2 compares the test accuracy achieved by both SGD[9] and LARS[11] optimizers. 図2は、SGD[9]およびLARS[11]オプティマイザの両方で達成されたテスト精度を比較します。 0.67
From the figure, it is clear that both approaches perform extremely good for small batch sizes. 図から、どちらのアプローチも小さなバッチサイズで非常に優れていることは明らかです。 0.71
Both optimizers maintain a test accuracy of around 99% until batch size reaches 1024. どちらのオプティマイザも、バッチサイズが1024になるまでテストの精度を約99%維持する。 0.57
After that, test accuracy starts decreasing gradually although they maintain an accuracy of more than 90% until batch size reaches 8000. その後、バッチサイズが8000に達するまで90%以上の精度を維持しながら、テスト精度は徐々に低下し始める。 0.79
The difference between performances of these two optimizers is observable after that. これら2つのオプティマイザのパフォーマンスの違いは、その後観察可能である。 0.52
The test accuracy of SGD optimizer starts dropping significantly once batch size reaches 16000 while LARS optimizer maintains much higher test accuracy compared to SGD. SGDオプティマイザのテスト精度はバッチサイズが16000に達すると大幅に低下し始め、LARSオプティマイザはSGDよりもはるかに高いテスト精度を維持している。
訳抜け防止モード: sgdオプティマイザの試験精度開始 大幅に減少し バッチサイズが16000に達すると、lars optimizerはsgdよりもはるかに高いテスト精度を維持する。
0.67
Test accuracy for SGD drops below 40% after 28000 batch size while LARS optimizer maintains more than 55% test accuracy for similar batch size. sgdのテスト精度は28000バッチサイズで40%以下に低下し、lars optimizerも同様のバッチサイズで55%以上のテスト精度を維持している。
訳抜け防止モード: SGDの試験精度は28000バッチサイズで40%以下に低下する LARSオプティマイザは、同様のバッチサイズのテスト精度を55%以上維持する。
0.77
Test accuracy for both optimizers drops significantly once batch size reaches 32000 although LARS optimizer performs better yet. バッチサイズが32000に達すると、両方のオプティマイザのテスト精度が大幅に低下する。 0.56
Figure 3 compares the training accuracy achieved by both SGD and LARS. 図3は、SGDとLARSの両方が達成したトレーニング精度を比較します。 0.61
Similar to test accuracy in Figure 2, train accuracy is also higher for both approaches in case of small batch sizes. 図2のテスト精度と同様に、バッチサイズが小さい場合は両方のアプローチで列車の精度も高くなります。 0.74
It is noticeable that train accuracy for SGD is better than its test accuracy. SGDの列車精度が試験精度より優れていることは注目に値する。 0.80
Still, it cannot outperform LARS for large batch sizes. しかし、大きなバッチサイズではlarsを上回ることはできない。 0.53
Similar to test accuracy, train accuracy for SGD also decreases significantly once 試験精度と同様、SGDの列車精度も1回で大幅に低下する 0.75
y c a r u c c A n a r T y c a r u c c a n a r t 0.79
i 100 80 60 私は 100 80 60 0.77
40 20 0 SGD LARS 40 20 0 SGD LARS 0.85
128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 0.85
Batch Size Figure 3: Training Accuracy of SGD and LARS Optimizers with Increasing Batch Size バッチサイズ 図3:バッチサイズを増大させるSGDおよびLARS最適化器のトレーニング精度 0.75
Figure 3 compares the generalization error for both SGD and LARS optimizers. 図3は、SGDとLARSオプティマイザの一般化誤差を比較する。 0.62
As we stated earlier, generalization error is very important in our evaluation because it indicates whether a model is consistent in train accuracy and test accuracy. 前述したように、モデルが列車の精度と試験精度に一貫性があるかどうかを示すため、評価において一般化誤差が非常に重要である。 0.69
More generalization error indicates more inconsistency. より一般化誤差はより矛盾を示す。 0.68
That's why lower generalization error is always desired. そのため、低一般化誤差が常に望まれる。 0.77
Figure 4 indicates that generalization error for SGD is much higher than LARS optimizer. 図4は、SGDの一般化誤差がLARSオプティマイザよりもはるかに高いことを示している。 0.54
Although generalization error for SGD is within a desired range for batch sizes smaller than 8000, it increases significantly after that. SGD の一般化誤差は 8000 より小さいバッチサイズで所望の範囲内にあるが、その後大幅に増大する。 0.80
It can be stated that generalization error for LARS is much smaller LARSの一般化誤差ははるかに小さいといえます。 0.76
4 4 0.85
英語(論文から抽出)日本語訳スコア
than SGD for batch sizes larger than 8000. 8000より大きいバッチ サイズのためのSGDより。 0.74
e c n e r e f f i e c n e r e f f i 0.85
D y c a r u c c A t s e T d n a n a r T D y c a r u c c A t s e T d n a n a r T 0.85
i 10 8 6 4 私は 10 8 6 4 0.79
2 0 SGD LARS 2 0 SGD LARS 0.85
128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 128 256 512 1024 2048 4096 8192 16324 24516 28612 32648 0.85
Batch Size Figure 4: Generalization Error of SGD and LARS Optimizers with Increasing Batch Size バッチサイズ 図4:バッチサイズを増大させるSGDとLARS最適化の一般化誤差 0.75
5. Conclusion The encouragement towards training deep learning models with growing amount of data has been discussed thoroughly. 5. 結論 データの量が増えたディープラーニングモデルのトレーニングへの励ましが十分に議論されている。 0.72
Processing huge amount of data leads to so many real-time issues. 大量のデータを処理すれば、多くのリアルタイム問題が発生する。 0.70
The inability to use large batch size to utilize full system resources in highly configured environments is one of those issues which we focus here. 大規模なバッチサイズを使用して、高度に設定された環境でシステムリソースをフル活用できないことが、私たちが注目する問題の1つです。
訳抜け防止モード: 大規模なバッチサイズを使用して、高度に構成された環境でシステムリソースをフル活用できないこと ここで焦点を当てている問題の1つです
0.65
We compare test accuracy of SGD and LARS optimizers for various batch sizes in a distributed deep learning setting using SystemML. SystemMLを用いた分散ディープラーニング設定において,SGDおよびLARSオプティマイザの各種バッチサイズに対するテスト精度を比較した。 0.69
For the ease of our evaluation, we choose a simple convolutional neural network model and MNIST[6] dataset for our experimental evaluation. 評価の容易さのために、実験評価のために単純な畳み込みニューラルネットワークモデルとmnist[6]データセットを選択した。 0.79
Based on our evaluation, we can conclude that LARS optimizer can be used to train with large batch sizes with distributed machine learning systems such as SystemML. 評価結果から,larsオプティマイザは,systemmlなどの分散機械学習システムを用いた大規模バッチサイズでのトレーニングに使用することができる。 0.77
6. Future Work and Challenges 6. 今後の課題と課題 0.76
We plan to extend this task by performing similar experiments with a large deep learning model such ResNet[4]. ResNet[4]のような大規模なディープラーニングモデルで同様の実験を行うことで、このタスクを拡張する予定です。 0.61
So far, we used MNIST[6] dataset for our experiments. これまでのところ、実験にはMNIST[6]データセットを使用しました。 0.70
We are also interested in evaluating our approach with a larger dataset such as ImageNet dataset[2]. imagenet dataset[2]のようなより大きなデータセットでこのアプローチを評価することにも興味があります。 0.73
Since LAMB[10] optimizer proved to perform excellent for even large models such as BERT[3], our another goal is to evaluate the performance of LAMB optimizer with distributed machine learning framework, SystemML. LAMB[10]オプティマイザはBERT[3]のような大規模モデルでも優れた性能を発揮することが証明されたため、別の目標は、分散機械学習フレームワークであるSystemMLによるLAMBオプティマイザのパフォーマンスを評価することです。
訳抜け防止モード: LAMB[10 ]オプティマイザが証明されたので BERT[3 ] のような大きなモデルでも優れた性能を発揮する もう1つの目標は LAMBオプティマイザのパフォーマンスを分散機械学習フレームワークSystemMLで評価する。
0.73
We faced many challenges when finishing this task. 私たちはこの仕事を終えるときに多くの困難に直面した。 0.46
Most of the challenges got raised due to many bugs of our adopted machine learning framework, SystemML. 機械学習フレームワークであるSystemMLの多くのバグによって、ほとんどの課題が提起されました。 0.63
The latest release of this framework has several issues and raised このフレームワークの最新リリースにはいくつかの問題がある。 0.65
5 errors once we tried to utilize some of its features. 5 一度その機能を利用すると エラーが発生します 0.71
Despite all of these issues with SystemML, we hope to utilize this framework for our future experiments with complex model and large dataset. SystemMLのこれらのすべての問題にもかかわらず、私たちはこのフレームワークを複雑なモデルと大規模なデータセットによる将来の実験に活用したいと考えています。 0.60
References [1] Matthias Boehm, Michael W. Dusenberry, Deron Eriksson, Alexandre V. Evfimievski, Faraz Makari Manshadi, Niketan Pansare, Berthold Reinwald, Frederick R. Reiss, Prithviraj Sen, Arvind C. Surve, and Shirish Tatikonda. 参考文献 [1] Matthias Boehm, Michael W. Dusenberry, Deron Eriksson, Alexandre V. Evfimievski, Faraz Makari Manshadi, Niketan Pansare, Berthold Reinwald, Frederick R. Reiss, Prithviraj Sen, Arvind C. Surve, Shirish Tatikonda。 0.77
Systemml: Declarative machine learning on spark. systemml: spark上の宣言型機械学習。 0.82
Proc. VLDB Endow., 9(13):1425–1436, Sept. 2016. Proc VLDB Endow., 9(13):1425-1436, September 2016 0.71
[2] J. Deng, W. Dong, R. Socher, L.-J. [2] J. Deng, W. Dong, R. Socher, L.-J。 0.85
Li, K. Li, and L. Fei-Fei. Li, K. Li, L. Fei-Fei 0.89
ImageNet: A Large-Scale Hierarchical Image Database. ImageNet: 大規模階層型イメージデータベース。 0.82
In CVPR09, 2009. 2009年、CVPR09。 0.83
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 3] Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova。 0.72
Bert: Pre-training of deep bidirectional transformers for language understanding. Bert: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.80
ArXiv, abs/1810.04805, 2019. ArXiv, abs/1810.04805, 2019。 0.72
[4] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 4]Kaiming彼、Xiangyu Zhang、ShaoqingrenおよびJian Sun。 0.56
Deep residual learning for image recognition. 画像認識のための深い残差学習 0.81
2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), page 770–778, 2016 0.83
[5] Dimitrije Jankov, Shangyu Luo, Binhang Yuan, Zhuhua Cai, Jia Zou, Chris Jermaine, and Zekai J. Gao. [5]Dmitrije Jankov、Shangyu Luo、Binhang Yuan、Zhuhua Cai、Jia Zou、Chris Jermaine、Zekai J. Gao。 0.71
Declarative recursive computation on an rdbms: Or, why you should use a database for distributed machine learning. rdbms上の宣言的再帰的計算:あるいは、なぜ分散機械学習にデータベースを使うべきなのか。 0.78
Proc. VLDB Endow., 12(7):822–835, Mar. Proc VLDB Endow., 12(7):822–835, Mar 0.74
2019. [6] Yann LeCun, Corinna Cortes, and CJ Burges. 2019. 6] Yann LeCun、Corinna Cortes、CJ Burges。 0.73
Mnist handATT Labs [Online]. Mnist handATT Labs [オンライン]。 0.70
Available: written digit database. 利用可能。 書かれた桁データベース。 0.60
http://yann.lecun.co m/exdb/mnist, 2, 2010. http://yann.lecun.co m/exdb/mnist, 2010 0.60
[7] Xiangrui Meng, Joseph Bradley, Burak Yavuz, Evan Sparks, Shivaram Venkataraman, Davies Liu, Jeremy Freeman, DB Tsai, Manish Amde, Sean Owen, Doris Xin, Reynold Xin, Michael J. Franklin, Reza Zadeh, Matei Zaharia, and Ameet Talwalkar. 7] Xiangrui Meng, Joseph Bradley, Burak Yavuz, Evan Sparks, Shivaram Venkataraman, Davies Liu, Jeremy Freeman, DB Tsai, Manish Amde, Sean Owen, Doris Xin, Reynold Xin, Michael J. Franklin, Reza Zadeh, Matei Zaharia, Ameet Talwalkar。 0.82
Mllib: Machine learning in apache spark. Mllib: apache Sparkでの機械学習。 0.81
J. Mach. Learn. J. Mach 学ぶ。 0.72
Res., 17(1):1235–1241, Jan. 2016. res., 17(1):1235–1241, 2016年1月。 0.72
[8] Kensuke Nakamura and Byung-Woo Hong. 8] 中村健介とByung-Woo Hong。 0.72
Adaptive weight decay for deep neural networks. 深いニューラルネットワークのための適応的な重量減衰。 0.68
CoRR, abs/1907.08931, 2019. CoRR, abs/1907.08931, 2019 0.78
[9] Sebastian Ruder. 9]セバスチャンの支配者。 0.47
An overview of gradient descent optimiza- 勾配降下オプティミザの概観- 0.56
tion algorithms. arXiv preprint arXiv:1609.04747, 2016. 調度アルゴリズム。 arXiv preprint arXiv:1609.04747, 2016 0.72
[10] Yang You, Jing Li, Jonathan Hseu, Xiaodan Song, James Demmel, and Cho-Jui Hsieh. [10]Yang You、Jing Li、Jonathan Hseu、Xiaodan Song、James Demmel、Cho-Jui Hsieh。 0.71
Reducing BERT pre-training time from 3 days to 76 minutes. BERT事前訓練時間を3日から76分に短縮する。 0.75
CoRR, abs/1904.00962, 2019. CoRR, abs/1904.00962, 2019 0.77
[11] Yang You, Zhao Zhang, Cho-Jui Hsieh, James Demmel, and Kurt Keutzer. [11]Yang You、Zhao Zhang、Cho-Jui Hsieh、James Demmel、Kurt Keutzer。 0.69
In Proceedings of the 47th International Conference on Parallel Processing, ICPP 2018, New York, NY, USA, 2018. The 47th International Conference on Parallel Processing, ICPP 2018, New York, NY, USA, 2018 に参加して 0.84
Association for Computing Machinery. コンピュータ機械協会会員。 0.63
Imagenet training in minutes. 数分でイメージネットトレーニング。 0.68
[12] Matei Zaharia, Reynold S. Xin, Patrick Wendell, Tathagata Das, Michael Armbrust, Ankur Dave, Xiangrui Meng, Josh Rosen, Shivaram Venkataraman, Michael J. Franklin, Ali Ghodsi, Joseph Gonzalez, Scott Shenker, and Ion Stoica. 12]Matei Zaharia, Reynold S. Xin, Patrick Wendell, Tathagata Das, Michael Armbrust, Ankur Dave, Xiangrui Meng, Josh Rosen, Shivaram Venkataraman, Michael J. Franklin, Ali Ghodsi, Joseph Gonzalez, Scott Shenker, Ion Stoica 0.81
Apache spark: A unified engine for big data processing. Apache Spark: ビッグデータ処理のための統合エンジン。 0.77
Commun. ACM, 59(11):56–65, Oct. 2016. Commun ACM, 59(11):56-65, October 2016 0.69
           ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。