論文の概要: DreamShard: Generalizable Embedding Table Placement for Recommender Systems

• arxiv url: http://arxiv.org/abs/2210.02023v1
• Date: Wed, 5 Oct 2022 05:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:26:27.418683
• Title: DreamShard: Generalizable Embedding Table Placement for Recommender Systems
• Title（参考訳）: DreamShard: Recommenderシステムのための一般的な埋め込みテーブル配置
• Authors: Daochen Zha, Louis Feng, Qiaoyu Tan, Zirui Liu, Kwei-Herng Lai, Bhargav Bhushanam, Yuandong Tian, Arun Kejariwal, Xia Hu
• Abstract要約: テーブル配置を埋め込むための強化学習(RL)手法を提案する。 DreamShardは、操作の融合と一般化可能性の推論を達成する。 実験の結果、DreamShardは既存の人間専門家やRNNベースの戦略を大きく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 62.444159500899566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study embedding table placement for distributed recommender systems, which aims to partition and place the tables on multiple hardware devices (e.g., GPUs) to balance the computation and communication costs. Although prior work has explored learning-based approaches for the device placement of computational graphs, embedding table placement remains to be a challenging problem because of 1) the operation fusion of embedding tables, and 2) the generalizability requirement on unseen placement tasks with different numbers of tables and/or devices. To this end, we present DreamShard, a reinforcement learning (RL) approach for embedding table placement. DreamShard achieves the reasoning of operation fusion and generalizability with 1) a cost network to directly predict the costs of the fused operation, and 2) a policy network that is efficiently trained on an estimated Markov decision process (MDP) without real GPU execution, where the states and the rewards are estimated with the cost network. Equipped with sum and max representation reductions, the two networks can directly generalize to any unseen tasks with different numbers of tables and/or devices without fine-tuning. Extensive experiments show that DreamShard substantially outperforms the existing human expert and RNN-based strategies with up to 19% speedup over the strongest baseline on large-scale synthetic tables and our production tables. The code is available at https://github.com/daochenzha/dreamshard
• Abstract（参考訳）: 分散レコメンデータシステムの組込みテーブル配置について検討し,複数のハードウェアデバイス(GPUなど)にテーブルを分割配置し,計算コストと通信コストのバランスをとることを目的とした。 計算グラフのデバイス配置に関する学習に基づくアプローチを先行研究で検討してきたが,テーブル配置の埋め込みは難しい課題である。 1)埋め込み表の操作融合,及び 2) テーブル数や装置数が異なる非表示配置タスクにおける一般化可能性要件。 この目的のために、テーブル配置を埋め込むための強化学習(RL)アプローチであるDreamShardを紹介する。 DreamShardは操作融合と一般化可能性の推論を達成する 1)融合運転のコストを直接予測するコストネットワーク、及び 2)実際のGPU実行を伴わない推定マルコフ決定プロセス(MDP)で効率的にトレーニングされたポリシネットワークにおいて,コストネットワークを用いて状態と報酬を推定する。 和と最大表現の削減を具備したこの2つのネットワークは、微調整なしでテーブル数やデバイス数が異なる未確認タスクに直接一般化することができる。 大規模な合成表と生産表で最強のベースラインを最大19%のスピードアップで、DreamShardは既存の人間専門家やRNNベースの戦略を大幅に上回っている。 コードはhttps://github.com/daochenzha/dreamshardで入手できる。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• TablePuppet: A Generic Framework for Relational Federated Learning [27.274856376963356]
  現在のフェデレーションラーニング(FL)は、分散トレーニングデータを単一のテーブルとして捉え、(行によって)水平または(列によって)垂直に分割する。 このシナリオでは、トレーニングデータを取得するために、結合やユニオンのような複雑な操作が必要です。 我々は,学習プロセスを2段階に分解するRFLの汎用フレームワークであるTablePuppetを提案し,(1)結合(LoJ)の学習,(2)結合(LoU)の学習の2段階を提案する。
  論文  参考訳（メタデータ） (2024-03-23T13:28:37Z)
• Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
  コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
  論文  参考訳（メタデータ） (2023-10-30T02:04:20Z)
• Pre-train and Search: Efficient Embedding Table Sharding with Pre-trained Neural Cost Models [56.65200574282804]
  効率的なシャーディングのための「事前訓練・探索」パラダイムを提案する。 NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。 NeuroShardは、ベンチマークシャーディングデータセットの最先端を著しく、一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-03T02:52:03Z)
• AutoShard: Automated Embedding Table Sharding for Recommender Systems [54.82606459574231]
  これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。 AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。 当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
  論文  参考訳（メタデータ） (2022-08-12T17:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。