Fugu-MT 論文翻訳(概要): Hierarchical Collaborative Hyper-parameter Tuning

論文の概要: Hierarchical Collaborative Hyper-parameter Tuning

arxiv url: http://arxiv.org/abs/2205.05272v1
Date: Wed, 11 May 2022 05:16:57 GMT
ステータス: 処理完了
システム内更新日: 2022-05-12 18:12:33.226817
Title: Hierarchical Collaborative Hyper-parameter Tuning
Title（参考訳）: 階層型協調型ハイパーパラメータチューニング
Authors: Ahmad Esmaeili, Zahra Ghorrati, Eric Matson
Abstract要約: ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyper-parameter Tuning is among the most critical stages in building machine learning solutions. This paper demonstrates how multi-agent systems can be utilized to develop a distributed technique for determining near-optimal values for any arbitrary set of hyper-parameters in a machine learning model. The proposed method employs a distributedly formed hierarchical agent-based architecture for the cooperative searching procedure of tuning hyper-parameter values. The presented generic model is used to develop a guided randomized agent-based tuning technique, and its behavior is investigated in both machine learning and global function optimization applications. According the empirical results, the proposed model outperformed both of its underlying randomized tuning strategies in terms of classification error and function evaluations, notably in higher number of dimensions.
Abstract（参考訳）: ハイパーパラメータチューニングは、マシンラーニングソリューションを構築する上で最も重要なステージのひとつだ。本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を決定する分散手法の開発にマルチエージェントシステムを利用する方法を示す。提案手法は,ハイパーパラメータ値の協調探索手法として,分散した階層型エージェントベースアーキテクチャを用いる。提案したジェネリックモデルを用いてランダム化エージェントに基づくチューニング手法を開発し,その動作を機械学習とグローバル関数最適化の両方に適用した。実験結果によると,提案モデルは,分類誤差と関数評価,特に高次元において,基礎となるランダム化調律戦略の2つを上回った。

関連論文リスト

Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文参考訳（メタデータ） (2022-05-05T13:40:08Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文参考訳（メタデータ） (2021-12-08T02:34:43Z)
Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
論文参考訳（メタデータ） (2021-10-15T11:46:14Z)
Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers [47.013395100497775]
このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。 BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
論文参考訳（メタデータ） (2021-09-16T20:46:26Z)
Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2021-09-07T13:58:23Z)
Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-27T08:59:39Z)
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文参考訳（メタデータ） (2021-07-19T11:37:37Z)
Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文参考訳（メタデータ） (2021-06-01T19:19:49Z)
Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文参考訳（メタデータ） (2021-04-12T16:23:37Z)
Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models [0.4079265319364249]
現在の最先端の方法は、ランダムフォレストまたはガウスプロセスを利用してサーロゲートモデルを構築しています。勾配向上に基づく新しいサロゲートモデルを提案する。実験により,新しい手法は,ある程度の分類問題に対して,最先端技術より優れていることを示す。
論文参考訳（メタデータ） (2021-01-06T22:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。