Fugu-MT 論文翻訳(概要): Hierarchical Collaborative Hyper-parameter Tuning

論文の概要: Hierarchical Collaborative Hyper-parameter Tuning

arxiv url: http://arxiv.org/abs/2205.05272v1
Date: Wed, 11 May 2022 05:16:57 GMT
ステータス: 翻訳完了
システム内更新日: 2022-05-12 18:12:33.226817
Title: Hierarchical Collaborative Hyper-parameter Tuning
Title（参考訳）: 階層型協調型ハイパーパラメータチューニング
Authors: Ahmad Esmaeili, Zahra Ghorrati, Eric Matson
Abstract要約: ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyper-parameter Tuning is among the most critical stages in building machine learning solutions. This paper demonstrates how multi-agent systems can be utilized to develop a distributed technique for determining near-optimal values for any arbitrary set of hyper-parameters in a machine learning model. The proposed method employs a distributedly formed hierarchical agent-based architecture for the cooperative searching procedure of tuning hyper-parameter values. The presented generic model is used to develop a guided randomized agent-based tuning technique, and its behavior is investigated in both machine learning and global function optimization applications. According the empirical results, the proposed model outperformed both of its underlying randomized tuning strategies in terms of classification error and function evaluations, notably in higher number of dimensions.
Abstract（参考訳）: ハイパーパラメータチューニングは、マシンラーニングソリューションを構築する上で最も重要なステージのひとつだ。本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を決定する分散手法の開発にマルチエージェントシステムを利用する方法を示す。提案手法は,ハイパーパラメータ値の協調探索手法として,分散した階層型エージェントベースアーキテクチャを用いる。提案したジェネリックモデルを用いてランダム化エージェントに基づくチューニング手法を開発し,その動作を機械学習とグローバル関数最適化の両方に適用した。実験結果によると,提案モデルは,分類誤差と関数評価,特に高次元において,基礎となるランダム化調律戦略の2つを上回った。

関連論文リスト

A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文参考訳（メタデータ） (2024-12-18T14:11:15Z)
An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文参考訳（メタデータ） (2024-09-04T14:36:20Z)
A Comparative Study of Hyperparameter Tuning Methods [0.0]
木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
論文参考訳（メタデータ） (2024-08-29T10:35:07Z)
Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文参考訳（メタデータ） (2023-03-27T13:52:40Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文参考訳（メタデータ） (2023-03-03T21:10:17Z)
A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-09-30T17:59:16Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2021-09-07T13:58:23Z)
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文参考訳（メタデータ） (2021-07-19T11:37:37Z)
Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文参考訳（メタデータ） (2021-04-12T16:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。