論文の概要: A Novel Surrogate-assisted Evolutionary Algorithm Applied to
Partition-based Ensemble Learning
- arxiv url: http://arxiv.org/abs/2104.08048v1
- Date: Fri, 16 Apr 2021 11:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 14:29:58.771922
- Title: A Novel Surrogate-assisted Evolutionary Algorithm Applied to
Partition-based Ensemble Learning
- Title（参考訳）: 分割型アンサンブル学習に応用した新しいサロゲート支援進化アルゴリズム
- Authors: Arkadiy Dushatskiy, Tanja Alderliesten, Peter A. N. Bosman
- Abstract要約: 高価な最適化問題を解決するための新しいサロゲート支援アルゴリズムを提案する。
我々は,適応値推定に用いるサロゲートモデルと,進化的遺伝子-進化的最適混合アルゴリズムの最先端p3様変種を統合する。
提案したアルゴリズムをアンサンブル学習問題で検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel surrogate-assisted Evolutionary Algorithm for solving
expensive combinatorial optimization problems. We integrate a surrogate model,
which is used for fitness value estimation, into a state-of-the-art P3-like
variant of the Gene-Pool Optimal Mixing Algorithm (GOMEA) and adapt the
resulting algorithm for solving non-binary combinatorial problems. We test the
proposed algorithm on an ensemble learning problem. Ensembling several models
is a common Machine Learning technique to achieve better performance. We
consider ensembles of several models trained on disjoint subsets of a dataset.
Finding the best dataset partitioning is naturally a combinatorial non-binary
optimization problem. Fitness function evaluations can be extremely expensive
if complex models, such as Deep Neural Networks, are used as learners in an
ensemble. Therefore, the number of fitness function evaluations is typically
limited, necessitating expensive optimization techniques. In our experiments we
use five classification datasets from the OpenML-CC18 benchmark and
Support-vector Machines as learners in an ensemble. The proposed algorithm
demonstrates better performance than alternative approaches, including Bayesian
optimization algorithms. It manages to find better solutions using just several
thousand fitness function evaluations for an ensemble learning problem with up
to 500 variables.
- Abstract（参考訳）: 本稿では,高価な組合せ最適化問題を解くために,代用補助進化アルゴリズムを提案する。
我々は,適応値推定に用いるサロゲートモデルを,遺伝子プール最適混合アルゴリズム(gomea)の最先端p3様変種に統合し,得られたアルゴリズムを非バイナリ組合せ問題に適用する。
提案アルゴリズムをアンサンブル学習問題で検証する。
複数のモデルを組み立てることは、より良いパフォーマンスを達成するための一般的な機械学習技術である。
データセットの非結合部分集合でトレーニングされた複数のモデルのアンサンブルを考える。
最高のデータセットパーティショニングを見つけることは、当然、組合せ非バイナリ最適化問題である。
深層ニューラルネットワークのような複雑なモデルがアンサンブルの学習者として使われる場合、適合度関数の評価は非常に高価である。
したがって、フィットネス機能評価の回数は通常限られており、高価な最適化技術を必要とする。
実験では,openml-cc18ベンチマークとサポートベクトルマシンの5つの分類データセットをアンサンブル学習者として使用する。
提案アルゴリズムはベイズ最適化アルゴリズムを含む他の手法よりも優れた性能を示す。
最大500変数のアンサンブル学習問題に対して、数千のフィットネス関数評価を使用して、よりよいソリューションを見つけることができる。
関連論文リスト
- Effective anytime algorithm for multiobjective combinatorial optimization problems [3.2061579211871383]
客観的な空間で十分に普及している効率的なソリューションのセットは、意思決定者に対して様々なソリューションを提供するのに好まれる。
本稿では,3つの新しいアイデアを組み合わせた多目的最適化のための新しい正確なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-06T11:53:44Z) - Dynamic Incremental Optimization for Best Subset Selection [15.8362578568708]
最良のサブセット選択は、多くの学習問題に対する金の標準と見なされている。
主問題構造と双対問題構造に基づいて,効率的な部分集合双対アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-04T02:26:40Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Enhancing Machine Learning Model Performance with Hyper Parameter
Optimization: A Comparative Study [0.0]
機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。
ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。
本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
論文 参考訳（メタデータ） (2023-02-14T10:12:10Z) - Faster Adaptive Momentum-Based Federated Methods for Distributed
Composition Optimization [14.579475552088692]
非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。
特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
論文 参考訳（メタデータ） (2022-11-03T15:17:04Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。