論文の概要: HPC Storage Service Autotuning Using Variational-Autoencoder-Guided Asynchronous Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2210.00798v1
• Date: Mon, 3 Oct 2022 10:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 17:38:40.842927
• Title: HPC Storage Service Autotuning Using Variational-Autoencoder-Guided Asynchronous Bayesian Optimization
• Title（参考訳）: variational-autoencoder-guided asynchronous bayesian optimizationを用いたhpcストレージサービスの自動チューニング
• Authors: Matthieu Dorier, Romain Egele, Prasanna Balaprakash, Jaehoon Koo, Sandeep Madireddy, Srinivasan Ramesh, Allen D. Malony, Rob Ross
• Abstract要約: 我々は,HPCストレージサービスパラメータをチューニングするための変分自動エンコーダ誘導非同期ベイズ最適化法を開発した。 我々は、DeepHyperオープンソースフレームワークにアプローチを実装し、ArgonneのThetaスーパーコンピュータ上での高エネルギー物理ワークフローの自動チューニングに適用する。 われわれのアプローチは、最先端のオートチューニングフレームワークのスピードに匹敵し、リソース利用と並列化の能力でそれらを上回ります。
• 参考スコア（独自算出の注目度）: 3.153934519625761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed data storage services tailored to specific applications have grown popular in the high-performance computing (HPC) community as a way to address I/O and storage challenges. These services offer a variety of specific interfaces, semantics, and data representations. They also expose many tuning parameters, making it difficult for their users to find the best configuration for a given workload and platform. To address this issue, we develop a novel variational-autoencoder-guided asynchronous Bayesian optimization method to tune HPC storage service parameters. Our approach uses transfer learning to leverage prior tuning results and use a dynamically updated surrogate model to explore the large parameter search space in a systematic way. We implement our approach within the DeepHyper open-source framework, and apply it to the autotuning of a high-energy physics workflow on Argonne's Theta supercomputer. We show that our transfer-learning approach enables a more than $40\times$ search speedup over random search, compared with a $2.5\times$ to $10\times$ speedup when not using transfer learning. Additionally, we show that our approach is on par with state-of-the-art autotuning frameworks in speed and outperforms them in resource utilization and parallelization capabilities.
• Abstract（参考訳）: 特定のアプリケーションに適した分散データストレージサービスは、I/Oとストレージの課題に対処する方法として、ハイパフォーマンスコンピューティング(HPC)コミュニティで人気が高まっている。 これらのサービスは様々なインターフェース、セマンティクス、データ表現を提供する。 また、多くのチューニングパラメータを公開しており、特定のワークロードやプラットフォームに最適な設定を見つけるのが難しくなっている。 この問題に対処するため,HPCストレージサービスパラメータをチューニングするための可変オートエンコーダ誘導非同期ベイズ最適化手法を開発した。 提案手法では、転送学習を用いて事前のチューニング結果を活用し、動的に更新されたサーロゲートモデルを用いて大きなパラメータ探索空間を体系的に探索する。 我々は、DeepHyperオープンソースフレームワークにアプローチを実装し、ArgonneのThetaスーパーコンピュータ上での高エネルギー物理ワークフローの自動チューニングに適用する。 私たちのトランスファーラーニングアプローチでは、ランダム検索よりも40ドル以上の検索スピードアップが可能で、トランスファーラーニングを使用しない場合の2.5ドルから10ドルまでのスピードアップが可能です。 さらに、我々のアプローチは、最先端のオートチューニングフレームワークに匹敵する速さで、リソース利用と並列化能力でそれらを上回ります。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• Hyperparameter Optimization as a Service on INFN Cloud [0.0]
  我々は、単純なHTTPリクエストを通じて、勾配のない最適化手法を用いて、複数のトレーニングインスタンスを監視し、調整するためのINFN Cloudをベースとした専用サービスを提案する。 Hopaasと呼ばれるこのサービスは、WebインターフェースとAPIセットで構成されており、INFN Cloudの仮想インスタンスでUvicornとNGINXを経由するFastAPIバックエンドで実装されている。
  論文  参考訳（メタデータ） (2023-01-13T12:57:48Z)
• Efficient Automated Deep Learning for Time Series Forecasting [42.47842694670572]
  本稿では,時系列予測のために,ニューラルネットワークとデータ処理パイプライン全体のハイパーパラメータを協調的に最適化する効率的な手法を提案する。 一般的なNASサーチスペースとは対照的に,我々は様々な最先端アーキテクチャをカバーする新しいニューラルアーキテクチャサーチスペースを設計した。 異なる予測データセット上で効率の良い多重忠実度最適化を実現するために,様々な予算タイプを実証的に検討する。
  論文  参考訳（メタデータ） (2022-05-11T14:03:25Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• A multi-objective perspective on jointly tuning hardware and hyperparameters [10.605719154114357]
  完全なAutoMLソリューションでは、適切なハードウェアを自動選択する必要がある。 ハードウェア構成を自動的に選択し適応する多目的アプローチを採用しています。 我々はNASとHPOの広範な実験において、両者が大きなスピードアップとコスト削減をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-06-10T11:52:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。