論文の概要: High-Dimensional Bayesian Optimization with Multi-Task Learning for RocksDB

• arxiv url: http://arxiv.org/abs/2103.16267v2
• Date: Wed, 31 Mar 2021 20:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 09:22:08.790839
• Title: High-Dimensional Bayesian Optimization with Multi-Task Learning for RocksDB
• Title（参考訳）: rocksdbのためのマルチタスク学習によるベイズ最適化
• Authors: Sami Alabed, Eiko Yoneki
• Abstract要約: RocksDBは汎用の組み込みキーバリューストアです。 本論文では、10パラメータの自動チューニングによるRocksDB IOオペレーションのスループットの最大化について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RocksDB is a general-purpose embedded key-value store used in multiple different settings. Its versatility comes at the cost of complex tuning configurations. This paper investigates maximizing the throughput of RocksDB IO operations by auto-tuning ten parameters of varying ranges. Off-the-shelf optimizers struggle with high-dimensional problem spaces and require a large number of training samples. We propose two techniques to tackle this problem: multi-task modeling and dimensionality reduction through a manual grouping of parameters. By incorporating adjacent optimization in the model, the model converged faster and found complicated settings that other tuners could not find. This approach had an additional computational complexity overhead, which we mitigated by manually assigning parameters to each sub-goal through our knowledge of RocksDB. The model is then incorporated in a standard Bayesian Optimization loop to find parameters that maximize RocksDB's IO throughput. Our method achieved x1.3 improvement when benchmarked against a simulation of Facebook's social graph traffic, and converged in ten optimization steps compared to other state-of-the-art methods that required fifty steps.
• Abstract（参考訳）: rocksdbは、複数の設定で使用される汎用組み込みキーバリューストアである。 その汎用性は複雑なチューニング構成のコストが伴う。 本稿では,RocksDB IO操作のスループットを,様々な範囲の10パラメータを自動調整することで最大化する。 オフザシェルフオプティマイザは高次元問題空間と競合し、多数のトレーニングサンプルを必要とする。 本稿では,マルチタスクモデリングとパラメータの手動グルーピングによる次元削減という2つの手法を提案する。 モデルに隣接する最適化を組み込むことで、モデルはより早く収束し、他のチューナーが見つけられなかった複雑な設定を見つけました。 このアプローチは計算の複雑さを増大させ、rocksdbの知識を通じて各サブゴールにパラメータを手動で割り当てることで軽減しました。 このモデルは、RocksDBのIOスループットを最大化するパラメータを見つけるために、標準的なベイズ最適化ループに組み込まれる。 提案手法は,Facebookのソーシャルグラフトラフィックのシミュレーションに比較してx1.3の改善を実現し,50ステップを要する他の最先端手法と比較して10の最適化ステップに収束した。

関連論文リスト

• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Hash Layers For Large Sparse Models [48.90784451703753]
  フィードフォワード層を現在のトークンによって異なる重みのセットにハッシュし、シーケンス内のすべてのトークンに対して変更する。 本手法は, 学習と学習の混合手法に比較して, 性能が優れているか, あるいは競争的であるかを示す。
  論文  参考訳（メタデータ） (2021-06-08T14:54:24Z)
• Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT [0.40611352512781856]
  本稿では、Keras/tensorflowで実装されたディープラーニングモデルのアーキテクチャレベルのパラメータをどのように最適化できるかを示す。 チューニング手順の実装は、統計コンピューティングのソフトウェア環境であるRに基づいて100%である。
  論文  参考訳（メタデータ） (2021-05-30T21:16:51Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling [34.67740033646052]
  ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。 評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
  論文  参考訳（メタデータ） (2020-02-23T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。