論文の概要: VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization
- arxiv url: http://arxiv.org/abs/2012.01205v4
- Date: Thu, 18 Apr 2024 16:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 21:05:42.584179
- Title: VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization
- Title（参考訳）: VisEvol:進化的最適化を通じてハイパーパラメータ検索をサポートするビジュアルアナリティクス
- Authors: Angelos Chatzimparmpas, Rafael M. Martins, Kostiantyn Kucher, Andreas Kerren,
- Abstract要約: 機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
- 参考スコア（独自算出の注目度）: 4.237343083490243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During the training phase of machine learning (ML) models, it is usually necessary to configure several hyperparameters. This process is computationally intensive and requires an extensive search to infer the best hyperparameter set for the given problem. The challenge is exacerbated by the fact that most ML models are complex internally, and training involves trial-and-error processes that could remarkably affect the predictive result. Moreover, each hyperparameter of an ML algorithm is potentially intertwined with the others, and changing it might result in unforeseeable impacts on the remaining hyperparameters. Evolutionary optimization is a promising method to try and address those issues. According to this method, performant models are stored, while the remainder are improved through crossover and mutation processes inspired by genetic algorithms. We present VisEvol, a visual analytics tool that supports interactive exploration of hyperparameters and intervention in this evolutionary procedure. In summary, our proposed tool helps the user to generate new models through evolution and eventually explore powerful hyperparameter combinations in diverse regions of the extensive hyperparameter space. The outcome is a voting ensemble (with equal rights) that boosts the final predictive performance. The utility and applicability of VisEvol are demonstrated with two use cases and interviews with ML experts who evaluated the effectiveness of the tool.
- Abstract（参考訳）: 機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
このプロセスは計算集約的で、与えられた問題に対して最適なハイパーパラメータセットを推測するために広範囲な探索が必要である。
この課題は、ほとんどのMLモデルは内部的に複雑であり、トレーニングには、予測結果に著しく影響を及ぼす可能性のある試行錯誤プロセスが含まれるという事実によって悪化する。
さらに、MLアルゴリズムの各ハイパーパラメータは他のパラメータと相互に絡み合う可能性があり、変更は残りのハイパーパラメータに予期せぬ影響をもたらす可能性がある。
進化的最適化はこれらの問題に対処するための有望な方法である。
この方法によれば、パフォーマンスモデルが格納され、残りのモデルは遺伝的アルゴリズムにインスパイアされたクロスオーバーおよび突然変異プロセスによって改善される。
本稿では,ハイパーパラメータのインタラクティブな探索と,この進化過程への介入を支援する視覚解析ツールVisEvolを紹介する。
要約して,提案手法は,ユーザが進化を通じて新しいモデルを生成するのに役立ち,最終的には広範囲のハイパーパラメータ空間の多様な領域において,強力なハイパーパラメータの組み合わせを探索する。
結果は(平等な権利を持つ)投票のアンサンブルであり、最終的な予測性能を高める。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
関連論文リスト
- An investigation on the use of Large Language Models for hyperparameter tuning in Evolutionary Algorithms [4.0998481751764]
最適化ログをオンラインで分析するために,オープンソースのLarge Language Models (LLM) を2つ採用している。
本研究では, (1+1)-ESのステップサイズ適応の文脈におけるアプローチについて検討する。
論文 参考訳（メタデータ） (2024-08-05T13:20:41Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach [0.0]
教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
論文 参考訳（メタデータ） (2022-06-30T23:41:47Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using
Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。
最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文 参考訳（メタデータ） (2021-09-11T16:45:39Z) - HyperNP: Interactive Visual Exploration of Multidimensional Projection
Hyperparameters [61.354362652006834]
HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。
我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
論文 参考訳（メタデータ） (2021-06-25T17:28:14Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。