論文の概要: Magpie: Automatically Tuning Static Parameters for Distributed File Systems using Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2207.09298v1
• Date: Tue, 19 Jul 2022 14:32:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:20:05.119253
• Title: Magpie: Automatically Tuning Static Parameters for Distributed File Systems using Deep Reinforcement Learning
• Title（参考訳）: Magpie: 深層強化学習を用いた分散ファイルシステムの静的パラメータの自動調整
• Authors: Houkun Zhu, Dominik Scheinert, Lauritz Thamsen, Kordian Gontarska, and Odej Kao
• Abstract要約: Magpieは、分散ファイルシステムで静的パラメータをチューニングするための新しいアプローチである。 我々はMagpieが分散ファイルシステムLustreの性能を著しく改善できることを示す。
• 参考スコア（独自算出の注目度）: 0.06524460254566904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed file systems are widely used nowadays, yet using their default configurations is often not optimal. At the same time, tuning configuration parameters is typically challenging and time-consuming. It demands expertise and tuning operations can also be expensive. This is especially the case for static parameters, where changes take effect only after a restart of the system or workloads. We propose a novel approach, Magpie, which utilizes deep reinforcement learning to tune static parameters by strategically exploring and exploiting configuration parameter spaces. To boost the tuning of the static parameters, our method employs both server and client metrics of distributed file systems to understand the relationship between static parameters and performance. Our empirical evaluation results show that Magpie can noticeably improve the performance of the distributed file system Lustre, where our approach on average achieves 91.8% throughput gains against default configuration after tuning towards single performance indicator optimization, while it reaches 39.7% more throughput gains against the baseline.
• Abstract（参考訳）: 分散ファイルシステムは近年広く使われているが、デフォルトの設定は最適ではないことが多い。 同時に、設定パラメータのチューニングは一般的に困難で時間がかかります。 専門知識も必要であり、チューニング作業も高価である。 これは特に静的パラメータの場合で、システムやワークロードの再起動後にのみ変更が実行される。 我々は, パラメータ空間を戦略的に探索し, 利用することにより, 静的パラメータの調整に深層強化学習を利用する新しい手法Magpieを提案する。 静的パラメータのチューニングを促進するために,分散ファイルシステムのサーバとクライアントのメトリクスを用いて,静的パラメータとパフォーマンスの関係を理解する。 実験的な評価結果から,Magpie は分散ファイルシステム Lustre の性能を著しく向上させることができることがわかった。これは,単一性能指標の最適化に向けてチューニングした上で,平均的なアプローチで 91.8% のスループット向上を実現し,ベースラインに対して 39.7% のスループット向上を実現している。

関連論文リスト

• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Tuning Word2vec for Large Scale Recommendation Systems [14.074296985040704]
  Word2vecはNatural Lan-guage Processing(NLP)から生まれた強力な機械学習ツール 本研究では,制約のない最適化により,パラメータよりも平均221%のヒット率向上が得られることを示す。 予算制約付き高パラメータ最適化によるヒット率平均138%の改善を実証した。
  論文  参考訳（メタデータ） (2020-09-24T10:50:19Z)
• Sapphire: Automatic Configuration Recommendation for Distributed Storage Systems [11.713288567936875]
  チューニングパラメータは、大幅なパフォーマンス向上を提供するが、深い経験と専門知識を必要とする難しいタスクである。 最適な構成を推奨するための自動シミュレーションベースのアプローチであるSapphireを提案する。 その結果、デフォルト設定に比べて、SapphireはCephのパフォーマンスを2.2倍に大幅に向上させた。
  論文  参考訳（メタデータ） (2020-07-07T06:17:07Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。