論文の概要: Understanding the effect of hyperparameter optimization on machine learning models for structure design problems

• arxiv url: http://arxiv.org/abs/2007.04431v2
• Date: Mon, 15 Mar 2021 22:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:55:44.675551
• Title: Understanding the effect of hyperparameter optimization on machine learning models for structure design problems
• Title（参考訳）: 構造設計問題の機械学習モデルに対するハイパーパラメータ最適化の効果の理解
• Authors: Xianping Du, Hongyi Xu, Feng Zhu
• Abstract要約: 機械学習アルゴリズム(MLAs)は、コンピュータ支援工学設計における代理モデルとして実装されている。 代理モデルの精度とロバスト性に対するハイパーパラメータの影響に関する体系的な研究の欠如がある。 GPR(Gaussian Process Regression)、SVM(Support Vector Machine)、RFR(Random Forest Regression)、ANN(Artificial Neural Network)の4つが頻繁に使用されている。 その結果,HOpt は一般に MLA モデルの性能を向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 8.504300709184177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To relieve the computational cost of design evaluations using expensive finite element simulations, surrogate models have been widely applied in computer-aided engineering design. Machine learning algorithms (MLAs) have been implemented as surrogate models due to their capability of learning the complex interrelations between the design variables and the response from big datasets. Typically, an MLA regression model contains model parameters and hyperparameters. The model parameters are obtained by fitting the training data. Hyperparameters, which govern the model structures and the training processes, are assigned by users before training. There is a lack of systematic studies on the effect of hyperparameters on the accuracy and robustness of the surrogate model. In this work, we proposed to establish a hyperparameter optimization (HOpt) framework to deepen our understanding of the effect. Four frequently used MLAs, namely Gaussian Process Regression (GPR), Support Vector Machine (SVM), Random Forest Regression (RFR), and Artificial Neural Network (ANN), are tested on four benchmark examples. For each MLA model, the model accuracy and robustness before and after the HOpt are compared. The results show that HOpt can generally improve the performance of the MLA models in general. HOpt leads to few improvements in the MLAs accuracy and robustness for complex problems, which are featured by high-dimensional mixed-variable design space. The HOpt is recommended for the design problems with intermediate complexity. We also investigated the additional computational costs incurred by HOpt. The training cost is closely related to the MLA architecture. After HOpt, the training cost of ANN and RFR is increased more than that of the GPR and SVM. To sum up, this study benefits the selection of HOpt method for the different types of design problems based on their complexity.
• Abstract（参考訳）: 高価な有限要素シミュレーションを用いた設計評価の計算コストを軽減するため、サロゲートモデルは計算機支援工学設計に広く適用されてきた。 機械学習アルゴリズム(MLA)は、設計変数と大きなデータセットからの応答の間の複雑な相互関係を学習する能力のために代理モデルとして実装されている。 通常、MLA回帰モデルはモデルパラメータとハイパーパラメータを含む。 モデルパラメータは、トレーニングデータに適合して得られる。 モデル構造とトレーニングプロセスを管理するハイパーパラメータは、トレーニング前にユーザによって割り当てられる。 代理モデルの精度とロバスト性に対するハイパーパラメータの影響に関する体系的な研究の欠如がある。 本研究では,ハイパーパラメータ最適化(hopt)フレームワークの構築を提案し,その効果の理解を深めた。 gpr(gaussian process regression)、svm(support vector machine)、rfr(random forest regression)、ann(artificial neural network)という4つの頻繁に使用されるmlasが、4つのベンチマーク例でテストされた。 MLAモデル毎に,HOpt前後のモデル精度とロバスト性を比較する。 その結果,HOpt は一般に MLA モデルの性能を向上させることができることがわかった。 hoptは複雑な問題に対するmlasの精度とロバスト性が改善され、高次元の混合変数設計空間が特徴となっている。 HOptは中間複雑性を持つ設計問題に対して推奨される。 また,HOptによる計算コストについても検討した。 トレーニングコストは、MLAアーキテクチャと密接に関連している。 HOpt後、ANNとRFRのトレーニングコストはGPRとSVMのトレーニングコストよりも増加する。 要約すると, この研究は, 複雑度に基づく設計問題の種類によってHOpt法を選択することに有効である。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Physics-informed linear regression is a competitive approach compared to Machine Learning methods in building MPC [0.8135412538980287]
  総じて, ビルのベースラインコントローラと比較して, 暖房・冷却エネルギーの低減効果が良好であることが示唆された。 また, 物理インフォームドARMAXモデルは, 計算負担が低く, 機械学習モデルと比較して, サンプル効率が優れていることも確認した。
  論文  参考訳（メタデータ） (2021-10-29T16:56:05Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。