論文の概要: DreamShard: Generalizable Embedding Table Placement for Recommender
Systems
- arxiv url: http://arxiv.org/abs/2210.02023v1
- Date: Wed, 5 Oct 2022 05:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 14:26:27.418683
- Title: DreamShard: Generalizable Embedding Table Placement for Recommender
Systems
- Title(参考訳): DreamShard: Recommenderシステムのための一般的な埋め込みテーブル配置
- Authors: Daochen Zha, Louis Feng, Qiaoyu Tan, Zirui Liu, Kwei-Herng Lai,
Bhargav Bhushanam, Yuandong Tian, Arun Kejariwal, Xia Hu
- Abstract要約: テーブル配置を埋め込むための強化学習(RL)手法を提案する。
DreamShardは、操作の融合と一般化可能性の推論を達成する。
実験の結果、DreamShardは既存の人間専門家やRNNベースの戦略を大きく上回っていることがわかった。
- 参考スコア(独自算出の注目度): 62.444159500899566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study embedding table placement for distributed recommender systems, which
aims to partition and place the tables on multiple hardware devices (e.g.,
GPUs) to balance the computation and communication costs. Although prior work
has explored learning-based approaches for the device placement of
computational graphs, embedding table placement remains to be a challenging
problem because of 1) the operation fusion of embedding tables, and 2) the
generalizability requirement on unseen placement tasks with different numbers
of tables and/or devices. To this end, we present DreamShard, a reinforcement
learning (RL) approach for embedding table placement. DreamShard achieves the
reasoning of operation fusion and generalizability with 1) a cost network to
directly predict the costs of the fused operation, and 2) a policy network that
is efficiently trained on an estimated Markov decision process (MDP) without
real GPU execution, where the states and the rewards are estimated with the
cost network. Equipped with sum and max representation reductions, the two
networks can directly generalize to any unseen tasks with different numbers of
tables and/or devices without fine-tuning. Extensive experiments show that
DreamShard substantially outperforms the existing human expert and RNN-based
strategies with up to 19% speedup over the strongest baseline on large-scale
synthetic tables and our production tables. The code is available at
https://github.com/daochenzha/dreamshard
- Abstract(参考訳): 分散レコメンデータシステムの組込みテーブル配置について検討し,複数のハードウェアデバイス(GPUなど)にテーブルを分割配置し,計算コストと通信コストのバランスをとることを目的とした。
計算グラフのデバイス配置に関する学習に基づくアプローチを先行研究で検討してきたが,テーブル配置の埋め込みは難しい課題である。
1)埋め込み表の操作融合,及び
2) テーブル数や装置数が異なる非表示配置タスクにおける一般化可能性要件。
この目的のために、テーブル配置を埋め込むための強化学習(RL)アプローチであるDreamShardを紹介する。
DreamShardは操作融合と一般化可能性の推論を達成する
1)融合運転のコストを直接予測するコストネットワーク、及び
2)実際のGPU実行を伴わない推定マルコフ決定プロセス(MDP)で効率的にトレーニングされたポリシネットワークにおいて,コストネットワークを用いて状態と報酬を推定する。
和と最大表現の削減を具備したこの2つのネットワークは、微調整なしでテーブル数やデバイス数が異なる未確認タスクに直接一般化することができる。
大規模な合成表と生産表で最強のベースラインを最大19%のスピードアップで、DreamShardは既存の人間専門家やRNNベースの戦略を大幅に上回っている。
コードはhttps://github.com/daochenzha/dreamshardで入手できる。
関連論文リスト
- TAP4LLM: Table Provider on Sampling, Augmenting, and Packing
Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。
各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
論文 参考訳(メタデータ) (2023-12-14T15:37:04Z) - Tessel: Boosting Distributed Execution of Large DNN Models via Flexible
Schedule Search [9.545482248215835]
Tesselは、分散DNNトレーニングと推論のための効率的なスケジュールを検索する自動化システムである。
様々なオペレータ配置戦略のスケジュールを探索することで、テッセルはトレーニングと推論性能の両方を大幅に改善する。
論文 参考訳(メタデータ) (2023-11-26T11:40:25Z) - SQLNet: Scale-Modulated Query and Localization Network for Few-Shot
Class-Agnostic Counting [71.38754976584009]
CAC(class-agnostic counting)タスクは、最近、任意のクラスの全てのオブジェクトを、入力画像にいくつかの例を付与してカウントする問題を解くために提案されている。
我々は、スケール変調クエリーおよびローカライズネットワーク(Net)と呼ばれる、新しいローカライズベースのCACアプローチを提案する。
クエリとローカライゼーションの段階において、模範者のスケールを完全に探求し、各オブジェクトを正確に位置付けし、その近似サイズを予測することで、効果的なカウントを実現している。
論文 参考訳(メタデータ) (2023-11-16T16:50:56Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - Pre-train and Search: Efficient Embedding Table Sharding with
Pre-trained Neural Cost Models [56.65200574282804]
効率的なシャーディングのための「事前訓練・探索」パラダイムを提案する。
NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。
NeuroShardは、ベンチマークシャーディングデータセットの最先端を著しく、一貫して上回る。
論文 参考訳(メタデータ) (2023-05-03T02:52:03Z) - AutoShard: Automated Embedding Table Sharding for Recommender Systems [54.82606459574231]
これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。
AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。
当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
論文 参考訳(メタデータ) (2022-08-12T17:48:01Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳(メタデータ) (2020-04-13T23:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。