論文の概要: Pre-train and Search: Efficient Embedding Table Sharding with Pre-trained Neural Cost Models

• arxiv url: http://arxiv.org/abs/2305.01868v1
• Date: Wed, 3 May 2023 02:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 16:11:04.575242
• Title: Pre-train and Search: Efficient Embedding Table Sharding with Pre-trained Neural Cost Models
• Title（参考訳）: pre-train and search: pre-trained neural cost modelを用いた効率的な埋め込みテーブルシャーディング
• Authors: Daochen Zha, Louis Feng, Liang Luo, Bhargav Bhushanam, Zirui Liu, Yusuo Hu, Jade Nie, Yuzhen Huang, Yuandong Tian, Arun Kejariwal, Xia Hu
• Abstract要約: 効率的なシャーディングのための「事前訓練・探索」パラダイムを提案する。 NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。 NeuroShardは、ベンチマークシャーディングデータセットの最先端を著しく、一貫して上回る。
• 参考スコア（独自算出の注目度）: 56.65200574282804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharding a large machine learning model across multiple devices to balance the costs is important in distributed training. This is challenging because partitioning is NP-hard, and estimating the costs accurately and efficiently is difficult. In this work, we explore a "pre-train, and search" paradigm for efficient sharding. The idea is to pre-train a universal and once-for-all neural network to predict the costs of all the possible shards, which serves as an efficient sharding simulator. Built upon this pre-trained cost model, we then perform an online search to identify the best sharding plans given any specific sharding task. We instantiate this idea in deep learning recommendation models (DLRMs) and propose NeuroShard for embedding table sharding. NeuroShard pre-trains neural cost models on augmented tables to cover various sharding scenarios. Then it identifies the best column-wise and table-wise sharding plans with beam search and greedy grid search, respectively. Experiments show that NeuroShard significantly and consistently outperforms the state-of-the-art on the benchmark sharding dataset, achieving up to 23.8% improvement. When deployed in an ultra-large production DLRM with multi-terabyte embedding tables, NeuroShard achieves 11.6% improvement in embedding costs over the state-of-the-art, which translates to 6.6% end-to-end training throughput improvement. To facilitate future research of the "pre-train, and search" paradigm in ML for Systems, we open-source our code at https://github.com/daochenzha/neuroshard
• Abstract（参考訳）: 大規模な機械学習モデルを複数のデバイスに分散して、コストのバランスをとることは、分散トレーニングにおいて重要である。 パーティショニングはnpハードであり、コストを正確にかつ効率的に見積もるのは困難である。 本研究では,効率的なシャーディングのための"事前訓練と探索"のパラダイムを検討する。 そのアイデアは、すべてのシャードのコストを予測するために、普遍的で一度限りのニューラルネットワークを事前訓練することであり、効率的なシャーディングシミュレータとして機能する。 この事前訓練されたコストモデルに基づいてオンライン検索を行い、特定のシャーディングタスクによって最適なシャーディング計画を特定する。 我々は、このアイデアをディープラーニングレコメンデーションモデル(DLRM)でインスタンス化し、テーブルシャーディングを埋め込むためのNeuroShardを提案する。 NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。 次に,ビームサーチとグリーディグリッドサーチを用いて,最善の列分割計画とテーブル分割計画を特定する。 実験の結果、NeuroShardはベンチマークシャーディングデータセットの最先端性を大幅に向上し、最大23.8%の改善を達成した。 マルチテラバイトの埋め込みテーブルを備えた超大型のDLRMにデプロイすると、NeuroShardは11.6%の組込みコスト向上を実現し、エンドツーエンドのトレーニングスループットが6.6%向上した。 ML for Systemsの"pre-train, and search"パラダイムの今後の研究を促進するために、私たちはコードをhttps://github.com/daochenzha/neuroshardでオープンソース化しました。

関連論文リスト

• LMEraser: Large Model Unlearning through Adaptive Prompt Tuning [21.141664917477257]
  LMEraserは、データインフルエンスを分離するために、迅速なチューニングアーキテクチャを備えた、分割とコンカマーの戦略を採用している。 実験の結果,LMEraserは精度を損なうことなく,学習コストを100ドル程度削減できることがわかった。
  論文  参考訳（メタデータ） (2024-04-17T04:08:38Z)
• Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping [37.59733248822887]
  我々は、$A*$検索アルゴリズムの探索ダイナミクスを予測するために、エンコーダ・デコーダ変換モデルを訓練する。 我々はこのモデルを微調整し、ソコバンパズル93.7%を最適に解くトランスフォーマーモデルであるサーチフォーマーを得る。
  論文  参考訳（メタデータ） (2024-02-21T19:17:28Z)
• Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
  分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。 最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。 我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T04:34:54Z)
• DreamShard: Generalizable Embedding Table Placement for Recommender Systems [62.444159500899566]
  テーブル配置を埋め込むための強化学習(RL)手法を提案する。 DreamShardは、操作の融合と一般化可能性の推論を達成する。 実験の結果、DreamShardは既存の人間専門家やRNNベースの戦略を大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-05T05:12:02Z)
• AutoShard: Automated Embedding Table Sharding for Recommender Systems [54.82606459574231]
  これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。 AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。 当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
  論文  参考訳（メタデータ） (2022-08-12T17:48:01Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。