論文の概要: Dynamic Parameter Allocation in Parameter Servers

• arxiv url: http://arxiv.org/abs/2002.00655v3
• Date: Fri, 3 Jul 2020 12:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 08:40:49.233742
• Title: Dynamic Parameter Allocation in Parameter Servers
• Title（参考訳）: パラメータサーバにおける動的パラメータ割り当て
• Authors: Alexander Renz-Wieland, Rainer Gemulla, Steffen Zeuch, Volker Markl
• Abstract要約: 本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
• 参考スコア（独自算出の注目度）: 74.250687861348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To keep up with increasing dataset sizes and model complexity, distributed training has become a necessity for large machine learning tasks. Parameter servers ease the implementation of distributed parameter management---a key concern in distributed training---, but can induce severe communication overhead. To reduce communication overhead, distributed machine learning algorithms use techniques to increase parameter access locality (PAL), achieving up to linear speed-ups. We found that existing parameter servers provide only limited support for PAL techniques, however, and therefore prevent efficient training. In this paper, we explore whether and to what extent PAL techniques can be supported, and whether such support is beneficial. We propose to integrate dynamic parameter allocation into parameter servers, describe an efficient implementation of such a parameter server called Lapse, and experimentally compare its performance to existing parameter servers across a number of machine learning tasks. We found that Lapse provides near-linear scaling and can be orders of magnitude faster than existing parameter servers.
• Abstract（参考訳）: データセットのサイズとモデルの複雑さの増加に合わせて、大規模な機械学習タスクには分散トレーニングが不可欠になっている。 パラメータサーバは分散パラメータ管理の実装を簡単にする -- 分散トレーニングにおいて重要な関心事だが、深刻な通信オーバーヘッドを引き起こす可能性がある。 通信オーバヘッドを低減するため、分散機械学習アルゴリズムはパラメータアクセス局所性(PAL)を向上させる技術を使用し、線形スピードアップを達成する。 しかし,既存のパラメータサーバはpal技術に対して限られたサポートしか提供せず,効率的なトレーニングを防止できることがわかった。 本稿では,PAL技術がどの程度サポートできるのか,また,そのような支援が有効かどうかを考察する。 本稿では,動的パラメータ割り当てをパラメータサーバに統合し,Lapseと呼ばれるパラメータサーバの効率的な実装を記述し,その性能を多数の機械学習タスク間で実験的に比較する。 lapseはニアリニアなスケーリングを提供し、既存のパラメータサーバよりも桁違いに高速であることが分かりました。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning [30.251155072822055]
  Prototype-based HyperAdapter (PHA)は、アダプタチューニングとハイパーネットワーク上に構築された新しいフレームワークである。 サンプル効率のよい条件付きモジュールを生成するために、インスタンスdenseレトリバーとプロトタイプのハイパーネットワークを導入する。 PHAは、トレーニング可能なパラメータ、ストリームタスクの精度、サンプル効率のトレードオフをより良くすることを示す。
  論文  参考訳（メタデータ） (2023-10-18T02:42:17Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Architecting Peer-to-Peer Serverless Distributed Machine Learning Training for Improved Fault Tolerance [1.495380389108477]
  サーバレスコンピューティングは、計算単位として関数を使用するクラウドコンピューティングの新しいパラダイムである。 ワークロードを分散することにより、分散機械学習はトレーニングプロセスを高速化し、より複雑なモデルをトレーニングできるようにする。 本稿では、分散機械学習トレーニングにおけるサーバーレスコンピューティングの利用について検討し、P2Pアーキテクチャの性能とパラメータサーバアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2023-02-27T17:38:47Z)
• Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning [57.01260458860375]
  対話状態追跡(DST)は,ユーザの信念を追跡するための対話管理において重要なステップである。 既存の処理は、DSTタスクに取り組むために、すべての言語モデル(LM)パラメータを微調整する。 本稿では,ソフトプロンプトトークンの埋め込みによるタスク特性の学習を提案する。
  論文  参考訳（メタデータ） (2023-01-26T03:01:59Z)
• PiPar: Pipeline Parallelism for Collaborative Machine Learning [16.131285496487678]
  協調機械学習(CML)技術は、複数のモバイルデバイスとサーバにまたがるディープラーニングモデルをトレーニングするために提案されている。 CML技術は、デバイスからの生データをサーバと共有するのではなく、各デバイスでトレーニングされたローカルモデルとしてプライバシ保存される。 低資源利用の主要因として,シーケンシャルな計算と通信により,サーバやデバイス上でのアイドリングリソースを同定する。
  論文  参考訳（メタデータ） (2022-12-01T20:51:47Z)
• Replicate or Relocate? Non-Uniform Access in Parameter Servers [74.89066750738971]
  ホットスポットパラメータを複製し、アクセス頻度の低いパラメータを再配置し、非決定性を管理する専門技術を採用しているPSであるLapse2を紹介します。 私たちの実験研究では、Lapse2は既存の単一技術PSを最大1桁上回った。
  論文  参考訳（メタデータ） (2021-04-01T14:52:32Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。