論文の概要: Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate
Scaling(LARS) Optimizer
- arxiv url: http://arxiv.org/abs/2102.03018v1
- Date: Fri, 5 Feb 2021 06:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 14:07:26.332197
- Title: Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate
Scaling(LARS) Optimizer
- Title(参考訳): レイヤワイド適応レートスケーリング(LARS)最適化を用いたシステムMLのディープラーニング評価
- Authors: Kanchan Chowdhury, Ankita Sharma and Arun Deepak Chandrasekar
- Abstract要約: LARSをSystemMLを用いて実装したディープラーニングモデルに適用する。
各種バッチサイズで実験を行い、LARSの性能を分散機械学習フレームワークと比較する。
- 参考スコア(独自算出の注目度): 0.3857494091717916
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Increasing the batch size of a deep learning model is a challenging task.
Although it might help in utilizing full available system memory during
training phase of a model, it results in significant loss of test accuracy most
often. LARS solved this issue by introducing an adaptive learning rate for each
layer of a deep learning model. However, there are doubts on how popular
distributed machine learning systems such as SystemML or MLlib will perform
with this optimizer. In this work, we apply LARS optimizer to a deep learning
model implemented using SystemML.We perform experiments with various batch
sizes and compare the performance of LARS optimizer with \textit{Stochastic
Gradient Descent}. Our experimental results show that LARS optimizer performs
significantly better than Stochastic Gradient Descent for large batch sizes
even with the distributed machine learning framework, SystemML.
- Abstract(参考訳): ディープラーニングモデルのバッチサイズを増加させることは、難しい課題です。
モデルのトレーニングフェーズで利用可能なシステムメモリをフル活用するのに役立つかもしれないが、ほとんどの場合、テスト精度が著しく低下する。
LARSはディープラーニングモデルの各層に対して適応学習率を導入することでこの問題を解決した。
しかし、SystemMLやMLlibのような分散機械学習システムが、このオプティマイザでどのように機能するかには疑問がある。
本研究では, LARSオプティマイザをSystemMLを用いて実装したディープラーニングモデルに適用し, 各種バッチサイズでの実験を行い, LARSオプティマイザの性能を \textit{Stochastic Gradient Descent} と比較した。
実験の結果,分散機械学習フレームワークであるSystemMLでも,LARSオプティマイザはStochastic Gradient Descentよりも大きなバッチサイズを実現していることがわかった。
関連論文リスト
- Optimization-based Structural Pruning for Large Language Models without Back-Propagation [57.9629676017527]
本稿では,Large-Language Models (LLMs) を用いた最適化に基づく構造解析手法を提案する。
本手法は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
提案手法は,A100 GPUの13Bモデルに対して,約35GBのメモリで2.7時間動作する。
論文 参考訳(メタデータ) (2024-06-15T09:31:03Z) - SLMRec: Empowering Small Language Models for Sequential Recommendation [25.920216777752]
シーケンシャルレコメンデーションタスクでは、ユーザが対話しそうな次の項目を予測する。
最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。
LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
論文 参考訳(メタデータ) (2024-05-28T07:12:06Z) - Characterizing the Accuracy - Efficiency Trade-off of Low-rank Decomposition in Language Models [1.530997923234786]
大規模言語モデル(LLM)が登場し、1つのモデルでそれらの一般的な問題解決能力を示した。
低ランクな分解設計空間を形式化し、分解設計空間が巨大であることを示す。
その結果,9%のモデルサイズ削減を最小限の精度で達成できることが示唆された。
論文 参考訳(メタデータ) (2024-05-10T17:40:02Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast
Self-Adaptation [145.7321032755538]
L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。
本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
論文 参考訳(メタデータ) (2023-02-28T19:23:20Z) - Machine Learning Methods for Spectral Efficiency Prediction in Massive
MIMO Systems [0.0]
本研究では,特定のプリコーディング方式のスペクトル効率(SE)値を最短時間で推定する機械学習手法について検討する。
平均パーセンテージ誤差(MAPE)の最も良い結果は、ソートされた特徴よりも勾配が上昇し、線形モデルは予測精度が悪くなることを示す。
そこで本研究では,Quadrigaシミュレータによって生成される幅広いシナリオにおける提案アルゴリズムの実用性について検討する。
論文 参考訳(メタデータ) (2021-12-29T07:03:10Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Robust MAML: Prioritization task buffer with adaptive learning process
for model-agnostic meta-learning [15.894925018423665]
モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。
本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。
メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2021-03-15T09:34:34Z) - Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。
このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文 参考訳(メタデータ) (2021-01-15T03:12:29Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳(メタデータ) (2020-10-31T08:05:34Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。