論文の概要: MANGO: A Python Library for Parallel Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2005.11394v1
• Date: Fri, 22 May 2020 20:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:30:27.505283
• Title: MANGO: A Python Library for Parallel Hyperparameter Tuning
• Title（参考訳）: MANGO:並列ハイパーパラメータチューニングのためのPythonライブラリ
• Authors: Sandeep Singh Sandha, Mohit Aggarwal, Igor Fedorov, Mani Srivastava
• Abstract要約: Mangoは並列ハイパーパラメータチューニングのためのPythonライブラリである。 Mangoは任意の分散スケジューリングフレームワークの使用を可能にする。 インテリジェントな並列検索戦略を実装し、豊富な抽象化を提供する。
• 参考スコア（独自算出の注目度）: 4.728291880913813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tuning hyperparameters for machine learning algorithms is a tedious task, one that is typically done manually. To enable automated hyperparameter tuning, recent works have started to use techniques based on Bayesian optimization. However, to practically enable automated tuning for large scale machine learning training pipelines, significant gaps remain in existing libraries, including lack of abstractions, fault tolerance, and flexibility to support scheduling on any distributed computing framework. To address these challenges, we present Mango, a Python library for parallel hyperparameter tuning. Mango enables the use of any distributed scheduling framework, implements intelligent parallel search strategies, and provides rich abstractions for defining complex hyperparameter search spaces that are compatible with scikit-learn. Mango is comparable in performance to Hyperopt, another widely used library. Mango is available open-source and is currently used in production at Arm Research to provide state-of-art hyperparameter tuning capabilities.
• Abstract（参考訳）: 機械学習アルゴリズムのハイパーパラメータのチューニングは面倒な作業であり、通常は手動で行う。 自動ハイパーパラメータチューニングを実現するため,ベイズ最適化に基づく手法が近年開発されている。 しかし、大規模機械学習トレーニングパイプラインの自動チューニングを有効にするためには、抽象化の欠如、フォールトトレランス、分散コンピューティングフレームワークのスケジューリングをサポートする柔軟性など、既存のライブラリには大きなギャップが残っている。 これらの課題に対処するために,並列ハイパーパラメータチューニング用のpythonライブラリであるmangoを提案する。 mangoは任意の分散スケジューリングフレームワークの使用を可能にし、インテリジェントな並列検索戦略を実装し、scikit-learnと互換性のある複雑なハイパーパラメータ検索空間を定義するためのリッチな抽象化を提供する。 mangoのパフォーマンスは,同じく広く使用されているライブラリであるhyperoptに匹敵する。 mangoはオープンソースであり、現在arm researchのプロダクションで使用されており、最先端のハイパーパラメータチューニング機能を提供する。

関連論文リスト

• Hyperparameter Optimization in Machine Learning [34.356747514732966]
  ハイパーパラメータは、機械学習アルゴリズムの振る舞いを制御する設定変数である。 それらの価値の選択は、これらの技術に基づいてシステムの有効性を決定する。 我々はハイパーパラメータ最適化の統一的な処理を行い、読者に最先端技術に関する実例と洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-30T09:39:22Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• Automating DBSCAN via Deep Reinforcement Learning [73.82740568765279]
  本稿では,DBSCANの自動パラメータ検索フレームワークであるDRL-DBSCANを提案する。 このフレームワークは、クラスタリング環境をマルコフ決定プロセスとして知覚することで、パラメータ探索方向を調整する過程をモデル化する。 このフレームワークはDBSCANクラスタリングの精度を最大で26%、25%改善している。
  論文  参考訳（メタデータ） (2022-08-09T04:40:11Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• High-Dimensional Bayesian Optimization with Multi-Task Learning for RocksDB [0.0]
  RocksDBは汎用の組み込みキーバリューストアです。 本論文では、10パラメータの自動チューニングによるRocksDB IOオペレーションのスループットの最大化について検討する。
  論文  参考訳（メタデータ） (2021-03-30T11:38:52Z)
• Sherpa: Robust Hyperparameter Optimization for Machine Learning [6.156647008180291]
  Sherpaは、機械学習モデルのためのハイパーパラメータ最適化ライブラリである。 計算コストのかかる反復関数評価の問題に特化して設計されている。 Sherpaは単一のマシン上で、あるいはクラスタ上で並列に実行することができる。
  論文  参考訳（メタデータ） (2020-05-08T13:52:49Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。