論文の概要: Hybrid Algorithm Selection and Hyperparameter Tuning on Distributed Machine Learning Resources: A Hierarchical Agent-based Approach

• arxiv url: http://arxiv.org/abs/2309.06604v1
• Date: Tue, 12 Sep 2023 21:07:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 16:11:17.245491
• Title: Hybrid Algorithm Selection and Hyperparameter Tuning on Distributed Machine Learning Resources: A Hierarchical Agent-based Approach
• Title（参考訳）: 分散機械学習リソースを用いたハイブリッドアルゴリズム選択とハイパーパラメータチューニング:階層的エージェントに基づくアプローチ
• Authors: Ahmad Esmaeili, Eric T. Matson, Julia T. Rayz
• Abstract要約: 本稿では,分散された機械学習アルゴリズムを選択するための,完全自動協調型エージェントベース機構を提案する。 我々の解は完全に正解であり、利用可能な資源の大きさに関連して線形時間と空間の複雑さを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Algorithm selection and hyperparameter tuning are critical steps in both academic and applied machine learning. On the other hand, these steps are becoming ever increasingly delicate due to the extensive rise in the number, diversity, and distributedness of machine learning resources. Multi-agent systems, when applied to the design of machine learning platforms, bring about several distinctive characteristics such as scalability, flexibility, and robustness, just to name a few. This paper proposes a fully automatic and collaborative agent-based mechanism for selecting distributedly organized machine learning algorithms and simultaneously tuning their hyperparameters. Our method builds upon an existing agent-based hierarchical machine-learning platform and augments its query structure to support the aforementioned functionalities without being limited to specific learning, selection, and tuning mechanisms. We have conducted theoretical assessments, formal verification, and analytical study to demonstrate the correctness, resource utilization, and computational efficiency of our technique. According to the results, our solution is totally correct and exhibits linear time and space complexity in relation to the size of available resources. To provide concrete examples of how the proposed methodologies can effectively adapt and perform across a range of algorithmic options and datasets, we have also conducted a series of experiments using a system comprised of 24 algorithms and 9 datasets.
• Abstract（参考訳）: アルゴリズムの選択とハイパーパラメータチューニングは、学術および応用機械学習において重要なステップである。 一方で、機械学習リソースの数、多様性、分散性が大幅に向上したことで、これらのステップはますます微妙になってきている。 機械学習プラットフォームの設計に適用されたマルチエージェントシステムは、スケーラビリティ、柔軟性、堅牢性など、いくつかの特徴的な特徴をもたらす。 本稿では,分散された機械学習アルゴリズムを選択し,同時にハイパーパラメータを調整するための,完全自動かつ協調的なエージェントベース機構を提案する。 提案手法は,既存のエージェントベース階層型機械学習プラットフォーム上に構築され,上記の機能をサポートするクエリ構造を,特定の学習,選択,チューニング機構に制限されずに拡張する。 提案手法の正確性,資源利用,計算効率を実証するため,理論的評価,形式的検証,解析的研究を行った。 その結果,提案手法は完全に正解であり,利用可能な資源の大きさに対して線形時間と空間複雑性を示すことがわかった。 提案手法がアルゴリズムの選択肢やデータセットをまたいで効果的に適応・実行できることの具体例を提供するため,24のアルゴリズムと9のデータセットからなるシステムを用いて,一連の実験を行った。

関連論文リスト

• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Hierarchical Collaborative Hyper-parameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。 本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T05:16:57Z)
• Adaptive Discretization in Online Reinforcement Learning [9.560980936110234]
  離散化に基づくアルゴリズムを設計する際の2つの大きな疑問は、離散化をどのように生成し、いつそれを洗練するかである。 オンライン強化学習のための木に基づく階層分割手法の統一的理論的解析を行う。 我々のアルゴリズムは操作制約に容易に適応し、我々の理論は3つの面のそれぞれに明示的な境界を与える。
  論文  参考訳（メタデータ） (2021-10-29T15:06:15Z)
• Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
  提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。 パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。 このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
  論文  参考訳（メタデータ） (2021-06-26T23:19:06Z)
• HAMLET: A Hierarchical Agent-based Machine Learning Platform [0.0]
  HAMLET (Hierarchical Agent-based Machine LEarning plaTform) は階層型マルチエージェントシステムに基づくハイブリッド機械学習プラットフォームである。 提案システムは、機械学習ソリューションをハイパーグラフとしてモデル化し、異種エージェントのマルチレベル構造を自律的に設定する。
  論文  参考訳（メタデータ） (2020-10-10T03:46:59Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice [10.350337750192997]
  我々は、最先端の最適化手法をいくつか導入し、それらを機械学習アルゴリズムに適用する方法について議論する。 この論文は、産業ユーザー、データアナリスト、研究者が機械学習モデルを開発するのに役立つ。
  論文  参考訳（メタデータ） (2020-07-30T21:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。