論文の概要: AutoShard: Automated Embedding Table Sharding for Recommender Systems

• arxiv url: http://arxiv.org/abs/2208.06399v1
• Date: Fri, 12 Aug 2022 17:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 13:13:27.448776
• Title: AutoShard: Automated Embedding Table Sharding for Recommender Systems
• Title（参考訳）: AutoShard: Recommenderシステムのためのテーブルシャーディング自動化
• Authors: Daochen Zha, Louis Feng, Bhargav Bhushanam, Dhruv Choudhary, Jade Nie, Yuandong Tian, Jay Chae, Yinbin Ma, Arun Kejariwal, Xia Hu
• Abstract要約: これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。 AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。 当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
• 参考スコア（独自算出の注目度）: 54.82606459574231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding learning is an important technique in deep recommendation models to map categorical features to dense vectors. However, the embedding tables often demand an extremely large number of parameters, which become the storage and efficiency bottlenecks. Distributed training solutions have been adopted to partition the embedding tables into multiple devices. However, the embedding tables can easily lead to imbalances if not carefully partitioned. This is a significant design challenge of distributed systems named embedding table sharding, i.e., how we should partition the embedding tables to balance the costs across devices, which is a non-trivial task because 1) it is hard to efficiently and precisely measure the cost, and 2) the partition problem is known to be NP-hard. In this work, we introduce our novel practice in Meta, namely AutoShard, which uses a neural cost model to directly predict the multi-table costs and leverages deep reinforcement learning to solve the partition problem. Experimental results on an open-sourced large-scale synthetic dataset and Meta's production dataset demonstrate the superiority of AutoShard over the heuristics. Moreover, the learned policy of AutoShard can transfer to sharding tasks with various numbers of tables and different ratios of the unseen tables without any fine-tuning. Furthermore, AutoShard can efficiently shard hundreds of tables in seconds. The effectiveness, transferability, and efficiency of AutoShard make it desirable for production use. Our algorithms have been deployed in Meta production environment. A prototype is available at https://github.com/daochenzha/autoshard
• Abstract（参考訳）: 埋め込み学習は、カテゴリの特徴を密閉ベクトルにマッピングする深層推奨モデルにおいて重要な技術である。 しかし、埋め込みテーブルは、しばしば非常に多くのパラメータを必要とし、ストレージと効率のボトルネックとなる。 埋め込みテーブルを複数のデバイスに分割する分散トレーニングソリューションが採用されている。 しかし、埋め込みテーブルは慎重に分割しなければ容易に不均衡につながる。 これは、組み込みテーブルシャーディング(embedd table sharding)という、分散システムにおける重要な設計課題である。 1)効率良く正確にコストを計測することは困難であり、 2) 分割問題はNPハードであることが知られている。 本稿では,神経コストモデルを用いてマルチテーブルコストを直接予測し,分割問題を解決するために深層強化学習を活用した,メタの新たなプラクティスであるautoshardを紹介する。 オープンソースの大規模合成データセットとmetaのプロダクションデータセットの実験結果は、ヒューリスティックスよりもautoshardの方が優れていることを示している。 さらに、AutoShardの学習ポリシーは、微調整なしで、さまざまな数のテーブルと見えないテーブルの異なる比率でシャーディングタスクに転送することができる。 さらにAutoShardは、数百のテーブルを数秒で効率よくシャーディングできる。 AutoShardの有効性、転送性、効率性は、プロダクション利用に望ましい。 当社のアルゴリズムはメタ生産環境にデプロイされています。 プロトタイプはhttps://github.com/daochenzha/autoshardで入手できる。

関連論文リスト

• Progressive Entropic Optimal Transport Solvers [33.821924561619895]
  本稿では,計画図と輸送地図の両方を推定できる新しいEOT解法(ProgOT)を提案する。 我々は,ProgOTが標準解法よりも高速で堅牢な代替手段であることを示す実験的な証拠を提供する。 また、最適な輸送地図を推定するためのアプローチの統計的整合性も証明する。
  論文  参考訳（メタデータ） (2024-06-07T16:33:08Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• Pre-train and Search: Efficient Embedding Table Sharding with Pre-trained Neural Cost Models [56.65200574282804]
  効率的なシャーディングのための「事前訓練・探索」パラダイムを提案する。 NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。 NeuroShardは、ベンチマークシャーディングデータセットの最先端を著しく、一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-03T02:52:03Z)
• The Tensor Data Platform: Towards an AI-centric Database System [6.519203713828565]
  AIでも同じことをする時が来た、と私たちは主張します -- しかし、ツイストで! 真のAI中心のデータベースを実現するには、エンジンをリレーショナルからテンソル抽象化に移行する必要がある、と私たちは主張しています。 これにより,(1)画像,ビデオ,音声,テキスト,リレーショナルなどのマルチモーダルデータ処理,(2)HWにおけるイノベーションの豊かさ,(3)自動微分を利用してタスクを実行する「訓練可能な」クエリの新たなクラスを実現する。
  論文  参考訳（メタデータ） (2022-11-04T21:26:16Z)
• DreamShard: Generalizable Embedding Table Placement for Recommender Systems [62.444159500899566]
  テーブル配置を埋め込むための強化学習(RL)手法を提案する。 DreamShardは、操作の融合と一般化可能性の推論を達成する。 実験の結果、DreamShardは既存の人間専門家やRNNベースの戦略を大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-05T05:12:02Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models [121.22644352431199]
  ニューラルアーキテクチャサーチ (NAS) を用いて、大容量モデルから可変コストで複数の圧縮された学生を自動的に抽出する。 現在の作業では、ウェイトシェアリングを備えた数百万の作業からなる1つのSuperLMをトレーニングしています。 最先端のKDおよびNAS手法に対するGLUEベンチマーク実験は、AutoDistilが先行圧縮技術より優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T06:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。