論文の概要: MOFA: Modular Factorial Design for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2011.09545v2
• Date: Thu, 3 Jun 2021 09:07:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:48:30.354180
• Title: MOFA: Modular Factorial Design for Hyperparameter Optimization
• Title（参考訳）: MOFA:ハイパーパラメータ最適化のためのモジュール係数設計
• Authors: Bo Xiong, Yimin Huang, Hanrong Ye, Steffen Staab, Zhenguo Li
• Abstract要約: Modular FActorial Design (MOFA) は、因子分析により評価結果を利用する新しいHPO法である。 我々はMOFAの推測が他のサンプリング手法よりも高い信頼性が得られることを証明した。 実験結果から,MOFAは最先端手法よりも有効性と効率性が高いことが示された。
• 参考スコア（独自算出の注目度）: 47.779983311833014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel and lightweight hyperparameter optimization (HPO) method, MOdular FActorial Design (MOFA). MOFA pursues several rounds of HPO, where each round alternates between exploration of hyperparameter space by factorial design and exploitation of evaluation results by factorial analysis. Each round first explores the configuration space by constructing a low-discrepancy set of hyperparameters that cover this space well while de-correlating hyperparameters, and then exploits evaluation results through factorial analysis that determines which hyperparameters should be further explored and which should become fixed in the next round. We prove that the inference of MOFA achieves higher confidence than other sampling schemes. Each individual round is highly parallelizable and hence offers major improvements of efficiency compared to model-based methods. Empirical results show that MOFA achieves better effectiveness and efficiency compared with state-of-the-art methods.
• Abstract（参考訳）: 本稿では,新しい軽量ハイパーパラメータ最適化手法であるmodular FActorial Design(MOFA)を提案する。 MOFAはHPOのいくつかのラウンドを追求し、各ラウンドは、因子設計によるハイパーパラメータ空間の探索と、因子分析による評価結果の活用を交互に行う。 各ラウンドはまず、ハイパーパラメーターを分離しながら、このスペースをうまくカバーする低分散のハイパーパラメータセットを構築して構成空間を探索し、次に、どのハイパーパラメータをより探索すべきで、次のラウンドで修正されるべきかを決定する因子分析によって評価結果を活用する。 我々はMOFAの推測が他のサンプリング手法よりも高い信頼性が得られることを証明した。 各ラウンドは高度に並列化可能であり、モデルベースの方法と比較して効率が大幅に向上する。 実験の結果,mofaは最先端手法と比較して効率と効率性が向上した。

関連論文リスト

• Efficient and Robust Parameter Optimization of the Unitary Coupled-Cluster Ansatz [4.607081302947026]
  本稿では、量子コンピュータ上でのユニタリ結合クラスタ・アンサッツのパラメータ最適化のために、近似パラボラ(SOAP)を用いた逐次最適化を提案する。 分子システムに関する数値的なベンチマークでは、SOAPはより高速な収束とノイズに対する堅牢性を達成することが示されている。 SOAPは、2量子ビットモデルシステムを用いた超伝導量子コンピュータの実験によりさらに検証される。
  論文  参考訳（メタデータ） (2024-01-10T03:30:39Z)
• A Dynamic-Neighbor Particle Swarm Optimizer for Accurate Latent Factor Analysis [8.451827165005993]
  LFAモデルの性能は最適化プロセスに大きく依存している。 いくつかの先行研究では、LFAモデルの最適化プロセスを強化するためにParticle Swarm Optimizationを採用している。 本稿では,2つの主観を持つ動的近傍協調型階層型PSO強化LFAモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:03:59Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach [0.0]
  教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。 教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。 本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
  論文  参考訳（メタデータ） (2022-06-30T23:41:47Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Hierarchical Collaborative Hyper-parameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。 本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T05:16:57Z)
• Supervising the Multi-Fidelity Race of Hyperparameter Configurations [22.408069485293666]
  我々はベイズ最適化手法であるDyHPOを導入し、どのハイパーパラメータ構成を、実現可能な構成のレースでさらに訓練するかを学習する。 大規模実験による最先端ハイパーパラメータ最適化手法に対するDyHPOの顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-02-20T10:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。