論文の概要: Comparative study of regression vs pairwise models for surrogate-based heuristic optimisation
- arxiv url: http://arxiv.org/abs/2410.03409v1
- Date: Fri, 4 Oct 2024 13:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:29:14.964891
- Title: Comparative study of regression vs pairwise models for surrogate-based heuristic optimisation
- Title（参考訳）: 代理に基づくヒューリスティック最適化のための回帰対ペアワイズモデルの比較研究
- Authors: Pablo S. Naharro, Pablo Toharia, Antonio LaTorre, José-María Peña,
- Abstract要約: 本稿では, シュロゲート問題の定式化を, 適合度を近似する回帰モデル(表面シュロゲートモデル)と, 分類モデル(ペアワイズ・シュロゲートモデル)を結合する新しい方法の両方として扱う。
オンライン機械学習に基づくサロゲートモデルを用いる場合の全体探索の性能は、予測モデルの精度だけでなく、正または負のケースに対するバイアスの種類にも依存する。
- 参考スコア（独自算出の注目度）: 1.2535250082638645
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Heuristic optimisation algorithms explore the search space by sampling solutions, evaluating their fitness, and biasing the search in the direction of promising solutions. However, in many cases, this fitness function involves executing expensive computational calculations, drastically reducing the reasonable number of evaluations. In this context, surrogate models have emerged as an excellent alternative to alleviate these computational problems. This paper addresses the formulation of surrogate problems as both regression models that approximate fitness (surface surrogate models) and a novel way to connect classification models (pairwise surrogate models). The pairwise approach can be directly exploited by some algorithms, such as Differential Evolution, in which the fitness value is not actually needed to drive the search, and it is sufficient to know whether a solution is better than another one or not. Based on these modelling approaches, we have conducted a multidimensional analysis of surrogate models under different configurations: different machine learning algorithms (regularised regression, neural networks, decision trees, boosting methods, and random forests), different surrogate strategies (encouraging diversity or relaxing prediction thresholds), and compare them for both surface and pairwise surrogate models. The experimental part of the article includes the benchmark problems already proposed for the SOCO2011 competition in continuous optimisation and a simulation problem included in the recent GECCO2021 Industrial Challenge. This paper shows that the performance of the overall search, when using online machine learning-based surrogate models, depends not only on the accuracy of the predictive model but also on both the kind of bias towards positive or negative cases and how the optimisation uses those predictions to decide whether to execute the actual fitness function.
- Abstract（参考訳）: ヒューリスティック最適化アルゴリズムは、解をサンプリングし、その適合性を評価し、有望な解の方向に探索をバイアスすることで探索空間を探索する。
しかし、多くの場合、この適合度関数は高価な計算処理を実行し、合理的な評価数を劇的に削減する。
この文脈では、シュロゲートモデルはこれらの計算問題を緩和するための優れた代替品として現れている。
本稿では,サロゲート問題の定式化を,適合度(表面サロゲートモデル)を近似する回帰モデルと,分類モデル(ペアワイズサロゲートモデル)を結合する新しい方法の両方として扱う。
ペアワイズアプローチは、例えば差分進化(differial Evolution)のように、実際に探索を駆動するために適合値を必要としないアルゴリズムによって直接利用することができ、ある解が他の解より優れているかどうかを知るのに十分である。
これらのモデリングアプローチに基づいて、異なる機械学習アルゴリズム(正規化回帰、ニューラルネットワーク、決定木、ブースティングメソッド、ランダムフォレスト)、異なる代理戦略(多様性の促進や予測しきい値の緩和)など、異なる構成下で代理モデルを多次元的に分析し、表面および対の代理モデルと比較した。
論文の実験的部分には、SOCO2011コンペティションで提案されている連続最適化のベンチマーク問題と、最近のGECCO2021産業課題に含まれるシミュレーション問題が含まれている。
本稿では,オンライン機械学習に基づくサロゲートモデルを用いた場合,全体の探索性能は,予測モデルの精度だけでなく,肯定的・否定的事例に対するバイアスの種類や,それらの予測を用いて実際のフィットネス機能を実行するかを決定する方法にも依存することを示す。
関連論文リスト
- Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。
これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。
このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。
本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-03-21T13:59:19Z) - Data-driven decision-focused surrogate modeling [10.1947610432159]
本稿では,実時間設定における非線形最適化問題の解決を目的とした,意思決定中心の代理モデルの概念を紹介する。
提案したデータ駆動フレームワークは、決定予測エラーを最小限に抑えるためにトレーニングされた、よりシンプルな、例えば凸(convex)、代理最適化モデル(surrogate optimization model)を学ぶことを目指している。
我々は、一般的な非線形化学プロセスの最適化を含む数値実験を通して、我々の枠組みを検証する。
論文 参考訳（メタデータ） (2023-08-23T14:23:26Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Towards a Better Understanding of Linear Models for Recommendation [28.422943262159933]
2つの基本回帰および行列分解法に対する閉形式解の導出と解析を行う。
閉形式解に対するパラメータ(ハイパーパラメータ)の探索に新しい学習アルゴリズムを導入する。
実験の結果、基本モデルとその閉形式解は、確かに最先端モデルと非常に競合することを示した。
論文 参考訳（メタデータ） (2021-05-27T04:17:04Z) - Surrogate Models for Optimization of Dynamical Systems [0.0]
本稿では,低次元サロゲートモデルを構築するためのスマートデータ駆動機構を提供する。
これらの代理モデルは、複雑な最適化問題の解の計算時間を短縮する。
論文 参考訳（メタデータ） (2021-01-22T14:09:30Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Uncertainty Modelling in Risk-averse Supply Chain Systems Using
Multi-objective Pareto Optimization [0.0]
サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。
我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
論文 参考訳（メタデータ） (2020-04-24T21:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。