論文の概要: Sapphire: Automatic Configuration Recommendation for Distributed Storage
Systems
- arxiv url: http://arxiv.org/abs/2007.03220v1
- Date: Tue, 7 Jul 2020 06:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 20:36:56.073828
- Title: Sapphire: Automatic Configuration Recommendation for Distributed Storage
Systems
- Title(参考訳): Sapphire: 分散ストレージシステムのための自動構成推奨
- Authors: Wenhao Lyu, Youyou Lu, Jiwu Shu, Wei Zhao
- Abstract要約: チューニングパラメータは、大幅なパフォーマンス向上を提供するが、深い経験と専門知識を必要とする難しいタスクである。
最適な構成を推奨するための自動シミュレーションベースのアプローチであるSapphireを提案する。
その結果、デフォルト設定に比べて、SapphireはCephのパフォーマンスを2.2倍に大幅に向上させた。
- 参考スコア(独自算出の注目度): 11.713288567936875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern distributed storage systems come with aplethora of configurable
parameters that controlmodule behavior and affect system performance. Default
settings provided by developers are often suboptimal for specific user cases.
Tuning parameters can provide significant performance gains but is a difficult
task requiring profound experience and expertise, due to the immense number of
configurable parameters, complex inner dependencies and non-linearsystem
behaviors. To overcome these difficulties, we propose an automatic
simulation-based approach, Sapphire, to recommend optimal configurations by
leveraging machine learning and black-box optimization techniques. We evaluate
Sapphire on Ceph. Results show that Sapphire significantly boosts Ceph
performance to 2.2x compared to the default configuration.
- Abstract(参考訳): 現代の分散ストレージシステムには、モジュールの振る舞いを制御し、システムパフォーマンスに影響する多くの設定可能なパラメータが備わっている。
開発者が提供するデフォルト設定は、特定のユーザケースに最適化されることが多い。
チューニングパラメータは大きなパフォーマンス向上をもたらすが、構成可能なパラメータや複雑な内部依存性、非線形システムの振る舞いなど、非常に多くの経験と専門知識を必要とする。
これらの課題を克服するために,機械学習とブラックボックス最適化を活用し,最適構成を推奨するサファイア手法を提案する。
我々はSapphire on Cephを評価する。
その結果、sapphireはデフォルト設定に比べてcephの性能を2.2倍に向上させた。
関連論文リスト
- HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳(メタデータ) (2024-11-03T04:25:46Z) - SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees [3.6449336503217786]
グラディエント強化木(GBT)は、研究者、機械学習(ML)実践者、データサイエンティストが使用するユビキタスモデルである。
GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchを提案する。
論文 参考訳(メタデータ) (2023-07-10T18:40:25Z) - CAMEO: A Causal Transfer Learning Approach for Performance Optimization
of Configurable Computer Systems [16.75106122540052]
環境変化下での因果予測の不変性を同定する手法であるCAMEOを提案する。
MLperf深層学習システム,ビデオ分析パイプライン,データベースシステムにおいて,最先端の最適化手法に対する大幅な性能向上を示す。
論文 参考訳(メタデータ) (2023-06-13T16:28:37Z) - Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-02-18T23:31:20Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳(メタデータ) (2023-01-28T08:51:23Z) - On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。
本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。
我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
論文 参考訳(メタデータ) (2022-07-22T14:54:13Z) - Magpie: Automatically Tuning Static Parameters for Distributed File
Systems using Deep Reinforcement Learning [0.06524460254566904]
Magpieは、分散ファイルシステムで静的パラメータをチューニングするための新しいアプローチである。
我々はMagpieが分散ファイルシステムLustreの性能を著しく改善できることを示す。
論文 参考訳(メタデータ) (2022-07-19T14:32:07Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - RecPipe: Co-designing Models and Hardware to Jointly Optimize
Recommendation Quality and Performance [6.489720534548981]
RecPipeは、推奨品質と推論性能を共同で最適化するシステムである。
RPAccelは、品質、テールレイテンシ、システムスループットを共同で最適化するカスタムアクセラレータである。
論文 参考訳(メタデータ) (2021-05-18T20:44:04Z) - Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization [23.52446054521187]
Amazon SageMaker Automatic Model Tuning(AMT)は、大規模なブラックボックス最適化のためのフルマネージドシステムです。
AMTは、異なるハイパーパラメータ構成で繰り返しトレーニングすることで、機械学習モデルの最良のバージョンを見つける。
組み込みアルゴリズム、カスタムアルゴリズム、マシンラーニングフレームワーク用に構築されたAmazon SageMakerコンテナで使用することができる。
論文 参考訳(メタデータ) (2020-12-15T18:34:34Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。