論文の概要: Replicate or Relocate? Non-Uniform Access in Parameter Servers

• arxiv url: http://arxiv.org/abs/2104.00501v1
• Date: Thu, 1 Apr 2021 14:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:19:01.543992
• Title: Replicate or Relocate? Non-Uniform Access in Parameter Servers
• Title（参考訳）: 複製か移転か? パラメータサーバにおける非一様アクセス
• Authors: Alexander Renz-Wieland, Rainer Gemulla, Zoi Kaoudi, Volker Markl
• Abstract要約: ホットスポットパラメータを複製し、アクセス頻度の低いパラメータを再配置し、非決定性を管理する専門技術を採用しているPSであるLapse2を紹介します。 私たちの実験研究では、Lapse2は既存の単一技術PSを最大1桁上回った。
• 参考スコア（独自算出の注目度）: 74.89066750738971
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter servers (PSs) facilitate the implementation of distributed training for large machine learning tasks. A key challenge for PS performance is that parameter access is non-uniform in many real-world machine learning tasks, i.e., different parameters exhibit drastically different access patterns. We identify skew and nondeterminism as two major sources for non-uniformity. Existing PSs are ill-suited for managing such non-uniform access because they uniformly apply the same parameter management technique to all parameters. As consequence, the performance of existing PSs is negatively affected and may even fall behind that of single node baselines. In this paper, we explore how PSs can manage non-uniform access efficiently. We find that it is key for PSs to support multiple management techniques and to leverage a well-suited management technique for each parameter. We present Lapse2, a PS that replicates hot spot parameters, relocates less frequently accessed parameters, and employs specialized techniques to manage nondeterminism that arises from random sampling. In our experimental study, Lapse2 outperformed existing, single-technique PSs by up to one order of magnitude and provided near-linear scalability across multiple machine learning tasks.
• Abstract（参考訳）: パラメータサーバ(pss)は、大規模機械学習タスクのための分散トレーニングの実装を容易にする。 PSパフォーマンスの重要な課題は、パラメータアクセスが多くの実世界の機械学習タスクにおいて一様でないことである。 非一様性の2つの主要な源としてスキューと非決定主義を同定する。 既存のPSは、全てのパラメータに同じパラメータ管理技術を適用するため、このような一様でないアクセスを管理するのに不適である。 その結果、既存のPSの性能は負の影響を受け、単一ノードのベースラインよりも劣る可能性がある。 本稿では,PSが非一様アクセスを効率的に管理する方法について検討する。 我々は,PSが複数の管理手法をサポートし,各パラメータに適した管理手法を活用することが重要であることを発見した。 ホットスポットパラメータを複製し、アクセス頻度の低いパラメータをリロケーションするPSであるLapse2を提案し、ランダムサンプリングから生じる非決定性を管理するために特殊な手法を用いる。 実験では、Lapse2は既存の単一技術PSを最大1桁の性能で上回り、複数の機械学習タスクに対してほぼ直線的なスケーラビリティを提供しました。

関連論文リスト

• Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning [61.294110816231886]
  我々はスパース・リユース・フレキシブル・ポリシー、スパース・ディフュージョン・ポリシー(SDP)を導入する。 SDPは、エキスパートとスキルを選択的に活性化し、モデル全体をトレーニングすることなく、効率的でタスク固有の学習を可能にする。 デモとコードはhttps://forrest-110.io/sparse_diffusion_policy/にある。
  論文  参考訳（メタデータ） (2024-07-01T17:59:56Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Good Intentions: Adaptive Parameter Management via Intent Signaling [50.01012642343155]
  そこで本研究では,既存の機械学習スタックに自然に統合された新たなインテントシグナリング機構を提案する。 次に、このメカニズムに基づいて、完全に適応的でゼロチューニングのパラメータマネージャであるAdaPMについて説明する。 私たちの評価では、AdaPMは、最先端のパラメータマネージャにマッチするか、あるいはパフォーマンスが良くなりました。
  論文  参考訳（メタデータ） (2022-06-01T13:02:19Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。