論文の概要: Good Intentions: Adaptive Parameter Servers via Intent Signaling

• arxiv url: http://arxiv.org/abs/2206.00470v1
• Date: Wed, 1 Jun 2022 13:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:34:05.483861
• Title: Good Intentions: Adaptive Parameter Servers via Intent Signaling
• Title（参考訳）: Good Intentions: Intent Signalingによる適応パラメータサーバ
• Authors: Alexander Renz-Wieland, Andreas Kieslinger, Robert Gericke, Rainer Gemulla, Zoi Kaoudi, Volker Markl
• Abstract要約: サーバ(PS)は、共有パラメータアクセスのためのプリミティブを提供することで、大規模な機械学習(ML)タスクのための分散トレーニングの実装を容易にする。 本稿では,適応性向上のためのイネーブラーとして機能し,MLタスクに自然に統合される新しいインテントシグナリング機構を提案する。 実験により,作業負荷への自動適応が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 66.58536759992738
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter servers (PSs) ease the implementation of distributed training for large machine learning (ML) tasks by providing primitives for shared parameter access. Especially for ML tasks that access parameters sparsely, PSs can achieve high efficiency and scalability. To do so, they employ a number of techniques -- such as replication or relocation -- to reduce communication cost and/or latency of parameter accesses. A suitable choice and parameterization of these techniques is crucial to realize these gains, however. Unfortunately, such choices depend on the task, the workload, and even individual parameters, they often require expensive upfront experimentation, and they are susceptible to workload changes. In this paper, we explore whether PSs can automatically adapt to the workload without any prior tuning. Our goals are to improve usability and to maintain (or even improve) efficiency. We propose (i) a novel intent signaling mechanism that acts as an enabler for adaptivity and naturally integrates into ML tasks, and (ii) a fully adaptive, zero-tuning PS called AdaPS based on this mechanism. Our experimental evaluation suggests that automatic adaptation to the workload is indeed possible: AdaPS matched or outperformed state-of-the-art PSs out of the box.
• Abstract（参考訳）: パラメータサーバ(PS)は、共有パラメータアクセスのためのプリミティブを提供することで、大規模な機械学習(ML)タスクのための分散トレーニングの実装を容易にする。 特にパラメータの少ないMLタスクでは、PSは高い効率とスケーラビリティを実現することができる。 そのため、レプリケーションやリロケーションなど、さまざまなテクニックを使用して、パラメータアクセスの通信コストやレイテンシを削減している。 しかし、これらの手法の適切な選択とパラメータ化は、これらの利益を実現するために重要である。 残念なことに、そのような選択はタスクやワークロード、さらには個々のパラメータにも依存します。 本稿では,PSが事前調整なしに作業負荷に適応できるかどうかを考察する。 私たちの目標は、ユーザビリティの向上と効率の維持(あるいは改善)です。 提案します 一 適応性のイネーブルとして機能し、MLタスクに自然に統合する新規な意図シグナリング機構 (ii)この機構に基づく完全適応型ゼロチューニングps adaps。 実験結果から,ワークロードへの自動適応が実現可能であることが示唆された。

関連論文リスト

• Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
  マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。 本稿では,プロンプトベースを提案する。 上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
  論文  参考訳（メタデータ） (2024-02-23T03:53:39Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning [57.01260458860375]
  対話状態追跡(DST)は,ユーザの信念を追跡するための対話管理において重要なステップである。 既存の処理は、DSTタスクに取り組むために、すべての言語モデル(LM)パラメータを微調整する。 本稿では,ソフトプロンプトトークンの埋め込みによるタスク特性の学習を提案する。
  論文  参考訳（メタデータ） (2023-01-26T03:01:59Z)
• AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
  このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。 本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。 コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-11-28T04:24:38Z)
• Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention [53.72897232951918]
  本稿では,カーネル構造を自己アテンションに利用して,可変パラメータの割り当てを誘導するアダプタを提案する。 提案するアダプタは,既存のベースラインの性能向上や性能向上を図っている。
  論文  参考訳（メタデータ） (2022-05-07T20:52:54Z)
• Replicate or Relocate? Non-Uniform Access in Parameter Servers [74.89066750738971]
  ホットスポットパラメータを複製し、アクセス頻度の低いパラメータを再配置し、非決定性を管理する専門技術を採用しているPSであるLapse2を紹介します。 私たちの実験研究では、Lapse2は既存の単一技術PSを最大1桁上回った。
  論文  参考訳（メタデータ） (2021-04-01T14:52:32Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。