論文の概要: ProactivePIM: Accelerating Weight-Sharing Embedding Layer with PIM for Scalable Recommendation System

• arxiv url: http://arxiv.org/abs/2402.04032v4
• Date: Wed, 13 Nov 2024 16:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:08:31.957846
• Title: ProactivePIM: Accelerating Weight-Sharing Embedding Layer with PIM for Scalable Recommendation System
• Title（参考訳）: ProactivePIM: スケーラブルなレコメンデーションシステムのためのPIMによる軽量共有層高速化
• Authors: Youngsuk Kim, Junghwan Lim, Hyuk-Jae Lee, Chae Eun Rhee,
• Abstract要約: 近年のPIM(Processing-in-Memory)は,レコメンデーションシステムのスループットの向上に成功している。 しかし、これらのアルゴリズムは、従来のPIMシステムにCPU-PIM通信オーバーヘッドを導入し、PIMスループットを損なう。 本稿では,PIM技術と統合されたメモリアーキテクチャであるProactivePIMを提案する。
• 参考スコア（独自算出の注目度）: 16.2798383044926
• License:
• Abstract: The personalized recommendation system's continuous size growth poses new challenges for model inference. Although weight-sharing algorithms have been proposed to reduce embedding table capacity, they increase memory access. Recent advancements in processing-in-memory (PIM) successfully enhance the recommendation system's throughput by exploiting memory parallelism, but our analysis shows that those algorithms introduce CPU-PIM communication overhead into prior PIM systems, compromising the PIM throughput. We propose ProactivePIM, a specialized memory architecture integrated with PIM technology tailored to accelerate the weight-sharing algorithms. ProacitvePIM integrates an SRAM cache within the PIM with an efficient prefetching scheme to leverage a unique locality of the algorithm and eliminate CPU-PIM communication.
• Abstract（参考訳）: パーソナライズされたレコメンデーションシステムの継続的サイズ成長は、モデル推論に新たな課題をもたらす。 埋め込みテーブル容量を減らすために重み共有アルゴリズムが提案されているが、メモリアクセスは増大する。 近年のPIM(Process-in-Memory)の進歩は、メモリ並列性を利用してレコメンデーションシステムのスループットを向上させることに成功しているが、これらのアルゴリズムは、従来のPIMシステムにCPU-PIM通信オーバーヘッドを導入し、PIMスループットを向上することを示した。 本稿では,PIM技術と統合されたメモリアーキテクチャであるProactivePIMを提案する。 ProacitvePIMは、PIM内のSRAMキャッシュと効率的なプリフェッチ方式を統合し、アルゴリズムの独特な局所性を活用し、CPU-PIM通信を排除する。

関連論文リスト

• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• CLSA-CIM: A Cross-Layer Scheduling Approach for Computing-in-Memory Architectures [0.1747623282473278]
  CIMアーキテクチャの階層間スケジューリングアルゴリズムであるCLSA-CIMを提案する。 CLSA-CIMと既存の重み付け戦略を統合し,SOTA(State-of-the-art)スケジューリングアルゴリズムとの比較を行った。
  論文  参考訳（メタデータ） (2024-01-15T13:35:21Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• SimplePIM: A Software Framework for Productive and Efficient Processing-in-Memory [8.844860045305772]
  PIM(Processing-in-Memory)パラダイムは、メモリチップ内で計算を実行することで、このボトルネックを軽減することを目的としている。 本稿では,実際のPIMシステムのプログラミングを支援するための新しいソフトウェアフレームワークSimplePIMを提案する。 We implement SimplePIM for the UPMEM PIM system and evaluation it on six major application。
  論文  参考訳（メタデータ） (2023-10-03T08:59:39Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Minimizing Age of Information for Mobile Edge Computing Systems: A Nested Index Approach [11.998034941401814]
  モバイルエッジ計算(MEC)は、情報更新性に敏感なリアルタイムアプリケーションを実現するための効率的なアプローチを提供する。 本稿では,MECシステム内の異種エッジサーバにタスクをオフロードする複数のユーザについて検討する。 我々のアルゴリズムは、ベンチマークと比較して最大40%の最適性ギャップの削減につながる。
  論文  参考訳（メタデータ） (2023-07-03T21:47:21Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)
• Continual Learning Approach for Improving the Data and Computation Mapping in Near-Memory Processing System [3.202860612193139]
  ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。 AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。 本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
  論文  参考訳（メタデータ） (2021-04-28T09:50:35Z)
• Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
  フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。 本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。 実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T03:28:18Z)
• Reinforcement Learning Based Cooperative Coded Caching under Dynamic Popularities in Ultra-Dense Networks [38.44125997148742]
  小規模基地局(SBS)のキャッシュ戦略は、膨大なデータレート要求を満たすために重要である。 我々は、強化学習(RL)を利用して、最大距離分離可能(MDS)符号化による協調的なキャッシュ戦略を設計する。
  論文  参考訳（メタデータ） (2020-03-08T10:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。