論文の概要: Local Search, Semantics, and Genetic Programming: a Global Analysis
- arxiv url: http://arxiv.org/abs/2305.16956v1
- Date: Fri, 26 May 2023 14:13:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 14:24:59.045252
- Title: Local Search, Semantics, and Genetic Programming: a Global Analysis
- Title（参考訳）: 局所探索・意味論・遺伝的プログラミング:グローバル分析
- Authors: Fabio Anselmi, Mauro Castelli, Alberto d'Onofrio, Luca Manzoni, Luca
Mariot, Martina Saletta
- Abstract要約: Geometric Semantic Geometric Programming (GSGP) は、遺伝的プログラミング(GP)の変種の一つである。
本稿では GSM-LS と GSGP-reg のオーバーフィッティングを制限する複数の可能性を探る。
その結果、トレーニングデータと見当たらないデータの両方において、標準GSGPを一貫して上回る結果が得られた。
- 参考スコア（独自算出の注目度）: 7.486818142115522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geometric Semantic Geometric Programming (GSGP) is one of the most prominent
Genetic Programming (GP) variants, thanks to its solid theoretical background,
the excellent performance achieved, and the execution time significantly
smaller than standard syntax-based GP. In recent years, a new mutation
operator, Geometric Semantic Mutation with Local Search (GSM-LS), has been
proposed to include a local search step in the mutation process based on the
idea that performing a linear regression during the mutation can allow for a
faster convergence to good-quality solutions. While GSM-LS helps the
convergence of the evolutionary search, it is prone to overfitting. Thus, it
was suggested to use GSM-LS only for a limited number of generations and,
subsequently, to switch back to standard geometric semantic mutation. A more
recently defined variant of GSGP (called GSGP-reg) also includes a local search
step but shares similar strengths and weaknesses with GSM-LS. Here we explore
multiple possibilities to limit the overfitting of GSM-LS and GSGP-reg, ranging
from adaptive methods to estimate the risk of overfitting at each mutation to a
simple regularized regression. The results show that the method used to limit
overfitting is not that important: providing that a technique to control
overfitting is used, it is possible to consistently outperform standard GSGP on
both training and unseen data. The obtained results allow practitioners to
better understand the role of local search in GSGP and demonstrate that simple
regularization strategies are effective in controlling overfitting.
- Abstract（参考訳）: Geometric Semantic Geometric Programming (GSGP) は、その理論的背景、優れた性能、標準構文に基づくGPよりも実行時間が大幅に小さいことによる、最も顕著な遺伝的プログラミング(GP)の亜種の一つである。
近年,新しい突然変異演算子gsm-ls(gemetry semantic mutation with local search)が,突然変異過程における局所的な探索ステップを含むことが提案されている。
GSM-LSは進化探索の収束に役立つが、過剰適合する傾向がある。
したがって、GSM-LSは限られた世代でのみ使用し、その後、標準的な幾何学的意味突然変異に戻すことが提案された。
より最近定義されたGSGP(GSGP-regと呼ばれる)の変種は、局所的な探索ステップを含むが、GSM-LSと類似の長所と短所を共有する。
本稿では,GSM-LSとGSGP-regの過剰適合を制限する複数の可能性について検討する。
その結果、オーバーフィッティングを制限する手法はそれほど重要ではなく、オーバーフィッティングを制御する技術が使われるようになれば、トレーニングデータと未確認データの両方において標準GSGPを一貫して上回る結果が得られることがわかった。
得られた結果は,gsgpにおける局所探索の役割をよりよく理解し,単純な正規化戦略が過剰フィッティングの制御に有効であることを示す。
関連論文リスト
- Deep Transformed Gaussian Processes [0.0]
変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。
本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。
実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
論文 参考訳（メタデータ） (2023-10-27T16:09:39Z) - A Communication-efficient Algorithm with Linear Convergence for
Federated Minimax Learning [1.713291434132985]
GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。
全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。
我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
論文 参考訳（メタデータ） (2022-06-02T16:31:16Z) - The Effect of Multi-Generational Selection in Geometric Semantic Genetic
Programming [8.0322025529523]
Geometric Semantic Genetic Programming (GSGP) は実世界の多くの問題に適用可能である。
GSGPの実装には特異性があるため、GSGPは進化の歴史を全て保存する必要がある。
我々は、この蓄積された情報を利用して、高齢者の個人を利用できる多世代選択スキームを定義する。
論文 参考訳（メタデータ） (2022-05-05T12:26:25Z) - Coefficient Mutation in the Gene-pool Optimal Mixing Evolutionary
Algorithm for Symbolic Regression [0.0]
GP-GOMEAはシンボリック回帰のアルゴリズムである。
GP-GOMEA に係数を最適化する簡単な手法が組み込まれていることを示す。
係数変異は、基礎となる方程式をかなりの量で再発見するのに役立ちます。
論文 参考訳（メタデータ） (2022-04-26T08:58:47Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳（メタデータ） (2022-02-27T13:25:01Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - SGP-DT: Semantic Genetic Programming Based on Dynamic Targets [6.841231589814175]
本稿では動的ターゲット(SGP-DT)に基づく新しいセマンティックGP手法を提案する。
各ランの進化は、残差に基づいて新しい(動的)ターゲットによって導かれる。
SGP-DTは、エプシロン・レキシケースよりも平均23.19%小さいRMSE値を得る。
論文 参考訳（メタデータ） (2020-01-30T19:33:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。