論文の概要: Alternate Model Growth and Pruning for Efficient Training of Recommendation Systems

• arxiv url: http://arxiv.org/abs/2105.01064v1
• Date: Tue, 4 May 2021 03:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 12:46:16.728113
• Title: Alternate Model Growth and Pruning for Efficient Training of Recommendation Systems
• Title（参考訳）: レコメンデーションシステムの効率的なトレーニングのための代替モデル成長とプルーニング
• Authors: Xiaocong Du, Bhargav Bhushanam, Jiecao Yu, Dhruv Choudhary, Tianxiang Gao, Sherman Wong, Louis Feng, Jongsoo Park, Yu Cao, Arun Kejariwal
• Abstract要約: モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。 ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。 トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
• 参考スコア（独自算出の注目度）: 7.415129876303651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning recommendation systems at scale have provided remarkable gains through increasing model capacity (i.e. wider and deeper neural networks), but it comes at significant training cost and infrastructure cost. Model pruning is an effective technique to reduce computation overhead for deep neural networks by removing redundant parameters. However, modern recommendation systems are still thirsty for model capacity due to the demand for handling big data. Thus, pruning a recommendation model at scale results in a smaller model capacity and consequently lower accuracy. To reduce computation cost without sacrificing model capacity, we propose a dynamic training scheme, namely alternate model growth and pruning, to alternatively construct and prune weights in the course of training. Our method leverages structured sparsification to reduce computational cost without hurting the model capacity at the end of offline training so that a full-size model is available in the recurring training stage to learn new data in real-time. To the best of our knowledge, this is the first work to provide in-depth experiments and discussion of applying structural dynamics to recommendation systems at scale to reduce training cost. The proposed method is validated with an open-source deep-learning recommendation model (DLRM) and state-of-the-art industrial-scale production models.
• Abstract（参考訳）: 大規模なディープラーニングレコメンデーションシステムは、モデルキャパシティ(すなわちモデルキャパシティ)を増大させることで、顕著な利益をもたらしている。 より広く、より深いニューラルネットワーク) しかし、大きなトレーニングコストとインフラコストが伴う。 モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。 しかし、最近のレコメンデーションシステムは、ビッグデータの処理が要求されるため、モデルキャパシティに渇いている。 したがって、推奨モデルを大規模にプルーニングすると、モデルのキャパシティが小さくなり、精度が低下する。 モデル容量を犠牲にすることなく計算コストを削減するため,学習過程でモデル成長と刈り取りを交互に行う動的訓練方式を提案する。 本手法は,オフライントレーニングの終了時にモデル容量を損なうことなく計算コストを削減するために構造化スパーシフィケーションを利用する。 私たちの知る限りでは、トレーニングコストを削減すべく、構造力学を大規模にレコメンデーションシステムに適用するための詳細な実験と議論を、これが初めて提供する。 提案手法は,オープンソースのディープラーニングレコメンデーションモデル(DLRM)と最先端の産業規模生産モデルを用いて検証する。

関連論文リスト

• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
  本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。 DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。 実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-02-05T10:16:20Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Exploring Low-Cost Transformer Model Compression for Large-Scale Commercial Reply Suggestions [3.3953799543764522]
  微調整事前学習言語モデルは、商業的な応答提案システムの品質を向上させる。 本稿では,低コストモデル圧縮技術であるLayer DroppingやLayer Freezingについて検討する。 本研究では,これらの手法の有効性を大規模シナリオで実証し,商用メール応答提案システムのトレーニング時間を42%削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-27T22:42:06Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。