Fugu-MT 論文翻訳(概要): Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization

論文の概要: Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization

arxiv url: http://arxiv.org/abs/2303.03394v1
Date: Fri, 3 Mar 2023 21:10:17 GMT
ステータス: 処理完了
システム内更新日: 2023-03-08 17:39:04.186843
Title: Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization
Title（参考訳）: エージェントベース協調ランダム探索によるハイパーパラメータチューニングと大域関数最適化
Authors: Ahmad Esmaeili, Zahra Ghorrati, Eric T. Matson
Abstract要約: 本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hyper-parameter optimization is one of the most tedious yet crucial steps in training machine learning models. There are numerous methods for this vital model-building stage, ranging from domain-specific manual tuning guidelines suggested by the oracles to the utilization of general-purpose black-box optimization techniques. This paper proposes an agent-based collaborative technique for finding near-optimal values for any arbitrary set of hyper-parameters (or decision variables) in a machine learning model (or general function optimization problem). The developed method forms a hierarchical agent-based architecture for the distribution of the searching operations at different dimensions and employs a cooperative searching procedure based on an adaptive width-based random sampling technique to locate the optima. The behavior of the presented model, specifically against the changes in its design parameters, is investigated in both machine learning and global function optimization applications, and its performance is compared with that of two randomized tuning strategies that are commonly used in practice. According to the empirical results, the proposed model outperformed the compared methods in the experimented classification, regression, and multi-dimensional function optimization tasks, notably in a higher number of dimensions and in the presence of limited on-device computational resources.
Abstract（参考訳）: ハイパーパラメータ最適化は、マシンラーニングモデルをトレーニングする上で最も面倒だが重要なステップの1つだ。この重要なモデル構築段階には、oracleが提案するドメイン固有の手動チューニングガイドラインから、汎用ブラックボックス最適化技術の利用まで、多くの方法がある。本稿では,機械学習モデル(あるいは一般関数最適化問題)における任意の超パラメータ群(あるいは決定変数)の近似最適値を求めるエージェントに基づく協調手法を提案する。提案手法は,探索操作を異なる次元で分散するための階層的エージェントベースアーキテクチャを構築し,適応幅に基づくランダムサンプリング手法に基づく協調探索手法を用いて最適な位置を求める。提案モデルの動作は、特に設計パラメータの変化に対して、機械学習とグローバル関数最適化の両方のアプリケーションで検討され、その性能は、実際に一般的に使用される2つのランダム化チューニング戦略と比較される。実験結果によると,提案手法は,実験対象の分類,回帰,多次元関数最適化タスク,特に高次元および限られたオンデバイス計算資源の存在において比較手法よりも優れていた。

関連論文リスト

Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
論文参考訳（メタデータ） (2024-11-11T04:36:58Z)
An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文参考訳（メタデータ） (2024-09-04T14:36:20Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-05-17T07:48:54Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Hierarchical Collaborative Hyper-parameter Tuning [0.0]
ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
論文参考訳（メタデータ） (2022-05-11T05:16:57Z)
Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文参考訳（メタデータ） (2022-01-27T21:38:53Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文参考訳（メタデータ） (2020-08-02T02:56:30Z)
On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice [10.350337750192997]
我々は、最先端の最適化手法をいくつか導入し、それらを機械学習アルゴリズムに適用する方法について議論する。この論文は、産業ユーザー、データアナリスト、研究者が機械学習モデルを開発するのに役立つ。
論文参考訳（メタデータ） (2020-07-30T21:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。