論文の概要: Optimizer Fusion: Efficient Training with Better Locality and Parallelism

• arxiv url: http://arxiv.org/abs/2104.00237v1
• Date: Thu, 1 Apr 2021 03:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-04-02 13:23:01.114997
• Title: Optimizer Fusion: Efficient Training with Better Locality and Parallelism
• Title（参考訳）: Optimizer Fusion: 局所性と並列性を向上した効率的なトレーニング
• Authors: Zixuan Jiang, Jiaqi Gu, Mingjie Liu, Keren Zhu, David Z. Pan
• Abstract要約: 実験の結果,様々な構成で最大20%のトレーニング時間を短縮できることがわかった。 提案手法はアルゴリズムを変更しないため,訓練プロセスの一般的な「プラグイン」技術として利用することができる。
• 参考スコア（独自算出の注目度）: 11.656318345362804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning frameworks adopt iterative optimizers to train neural networks. Conventional eager execution separates the updating of trainable parameters from forward and backward computations. However, this approach introduces nontrivial training time overhead due to the lack of data locality and computation parallelism. In this work, we propose to fuse the optimizer with forward or backward computation to better leverage locality and parallelism during training. By reordering the forward computation, gradient calculation, and parameter updating, our proposed method improves the efficiency of iterative optimizers. Experimental results demonstrate that we can achieve an up to 20% training time reduction on various configurations. Since our methods do not alter the optimizer algorithm, they can be used as a general "plug-in" technique to the training process.
• Abstract（参考訳）: 機械学習フレームワークは、ニューラルネットワークのトレーニングに反復オプティマイザを採用する。 従来の熱心な実行は、トレーニング可能なパラメータの更新を前方および後方の計算から分離する。 しかし、このアプローチは、データの局所性や計算並列性の欠如により、非自明なトレーニング時間オーバーヘッドをもたらす。 本研究では,学習中の局所性と並列性をよりよく活用するために,最適化器を前方あるいは後方の計算に融合することを提案する。 提案手法は,フォワード計算,勾配計算,パラメータ更新を並べ替えることで,反復オプティマイザの効率を向上する。 実験の結果,様々な構成で最大20%のトレーニング時間を短縮できることがわかった。 提案手法はオプティマイザアルゴリズムを変更しないため,トレーニングプロセスの一般的な「プラグイン」技術として利用することができる。

関連論文リスト

• No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models [31.080446886440757]
  本稿では、動的アーキテクチャ(レイヤの積み重ね、ドロップ)、バッチ選択(選択的バックプロップ、ROH損失)、効率的なレイヤ(Lion, Sophia)の3つのカテゴリを再検討する。 トレーニング,検証,ダウンストリームのゲインが,完全に遅延した学習率のベースラインに比べて消失していることが分かりました。 我々は、全ての計算時間を参照システム時間と呼ぶ参照マシンにマッピングすることで、任意の計算でマシンを実行できる評価プロトコルを定義した。
  論文  参考訳（メタデータ） (2023-07-12T20:10:14Z)
• Transformer-Based Learned Optimization [37.84626515073609]
  ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。 私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。 最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
  論文  参考訳（メタデータ） (2022-12-02T09:47:08Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Layer-Wise Partitioning and Merging for Efficient and Scalable Deep Learning [16.38731019298993]
  我々は、より優れたトレーニング性能を提供するために、新しいレイヤワイドパーティショニングとマージ、前方および後方パス並列フレームワークを提案している。 実使用事例を実験的に評価したところ,提案手法は訓練速度において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-22T11:47:34Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。