論文の概要: Good Intentions: Adaptive Parameter Management via Intent Signaling

• arxiv url: http://arxiv.org/abs/2206.00470v4
• Date: Thu, 17 Aug 2023 15:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 01:38:05.131871
• Title: Good Intentions: Adaptive Parameter Management via Intent Signaling
• Title（参考訳）: 良い意図:インテントシグナリングによる適応パラメータ管理
• Authors: Alexander Renz-Wieland, Andreas Kieslinger, Robert Gericke, Rainer Gemulla, Zoi Kaoudi, Volker Markl
• Abstract要約: そこで本研究では,既存の機械学習スタックに自然に統合された新たなインテントシグナリング機構を提案する。 次に、このメカニズムに基づいて、完全に適応的でゼロチューニングのパラメータマネージャであるAdaPMについて説明する。 私たちの評価では、AdaPMは、最先端のパラメータマネージャにマッチするか、あるいはパフォーマンスが良くなりました。
• 参考スコア（独自算出の注目度）: 50.01012642343155
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter management is essential for distributed training of large machine learning (ML) tasks. Some ML tasks are hard to distribute because common approaches to parameter management can be highly inefficient. Advanced parameter management approaches -- such as selective replication or dynamic parameter allocation -- can improve efficiency, but to do so, they typically need to be integrated manually into each task's implementation and they require expensive upfront experimentation to tune correctly. In this work, we explore whether these two problems can be avoided. We first propose a novel intent signaling mechanism that integrates naturally into existing ML stacks and provides the parameter manager with crucial information about parameter accesses. We then describe AdaPM, a fully adaptive, zero-tuning parameter manager based on this mechanism. In contrast to prior systems, this approach separates providing information (simple, done by the task) from exploiting it effectively (hard, done automatically by AdaPM). In our experimental evaluation, AdaPM matched or outperformed state-of-the-art parameter managers out of the box, suggesting that automatic parameter management is possible.
• Abstract（参考訳）: パラメータ管理は、大規模機械学習(ml)タスクの分散トレーニングに不可欠である。 一部のmlタスクは、パラメータ管理への一般的なアプローチが極めて非効率なため、分散が難しい。 選択レプリケーションや動的パラメータ割り当てといった高度なパラメータ管理アプローチは、効率を改善することができるが、そうするためには、通常、各タスクの実装に手動で統合する必要がある。 本研究では,この2つの問題を回避できるかどうかを考察する。 まず,既存のmlスタックに自然に統合し,パラメータマネージャにパラメータアクセスに関する重要な情報を提供するインテントシグナリング機構を提案する。 次に,この機構に基づく完全適応型ゼロチューニングパラメータマネージャであるadapmについて述べる。 従来のシステムとは対照的に、このアプローチでは、情報を提供すること(タスクによって行われる単純な)を効果的に利用すること(AdaPMが自動的に行う)から分離する。 実験結果から,adapmは自動パラメータ管理が可能であることが示唆された。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
  マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。 本稿では,プロンプトベースを提案する。 上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
  論文  参考訳（メタデータ） (2024-02-23T03:53:39Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning [57.01260458860375]
  対話状態追跡(DST)は,ユーザの信念を追跡するための対話管理において重要なステップである。 既存の処理は、DSTタスクに取り組むために、すべての言語モデル(LM)パラメータを微調整する。 本稿では,ソフトプロンプトトークンの埋め込みによるタスク特性の学習を提案する。
  論文  参考訳（メタデータ） (2023-01-26T03:01:59Z)
• AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
  このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。 本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。 コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-11-28T04:24:38Z)
• Replicate or Relocate? Non-Uniform Access in Parameter Servers [74.89066750738971]
  ホットスポットパラメータを複製し、アクセス頻度の低いパラメータを再配置し、非決定性を管理する専門技術を採用しているPSであるLapse2を紹介します。 私たちの実験研究では、Lapse2は既存の単一技術PSを最大1桁上回った。
  論文  参考訳（メタデータ） (2021-04-01T14:52:32Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。