論文の概要: Evolving Continuous Optimisers from Scratch
- arxiv url: http://arxiv.org/abs/2103.11746v1
- Date: Mon, 22 Mar 2021 11:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 02:07:14.799865
- Title: Evolving Continuous Optimisers from Scratch
- Title（参考訳）: Scratchからの継続的オプティマイザの進化
- Authors: Michael A. Lones
- Abstract要約: この研究は遺伝的プログラミングを用いて連続的なオプティマイザの空間を探索する。
検索スペースを広くするために、Pushを使ってオプティマイザをスクラッチから進化させる。
結果のオプティマイザは多様であることが判明し、最適化された風景を探索する。
- 参考スコア（独自算出の注目度）: 0.45687771576879593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work uses genetic programming to explore the space of continuous
optimisers, with the goal of discovering novel ways of doing optimisation. In
order to keep the search space broad, the optimisers are evolved from scratch
using Push, a Turing-complete, general-purpose, language. The resulting
optimisers are found to be diverse, and explore their optimisation landscapes
using a variety of interesting, and sometimes unusual, strategies.
Significantly, when applied to problems that were not seen during training,
many of the evolved optimisers generalise well, and often outperform existing
optimisers. This supports the idea that novel and effective forms of
optimisation can be discovered in an automated manner. This paper also shows
that pools of evolved optimisers can be hybridised to further increase their
generality, leading to optimisers that perform robustly over a broad variety of
problem types and sizes.
- Abstract（参考訳）: この研究は遺伝的プログラミングを用いて連続的な最適化の空間を探索し、最適化を行う新しい方法を発見することを目的としている。
検索空間を広くするために、オプティマイザはチューリング完全で汎用的な言語であるPushを使ってゼロから進化する。
結果のオプティマイザは多様であることが判明し、様々な興味深い、時には珍しい戦略を用いて最適化された風景を探索する。
重要なことに、訓練中に見られなかった問題に適用すると、進化したオプティマイザの多くはよく一般化し、しばしば既存のオプティマイザよりも優れている。
これは、新しい効果的な最適化形式が自動化された方法で発見できるという考えを支持する。
また,進化したオプティマイザのプールをハイブリダイズすることで,より汎用性を高め,様々な問題タイプやサイズに対して堅牢なオプティマイザを実現することを示す。
関連論文リスト
- Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - Enhancing Hyper-To-Real Space Projections Through Euclidean Norm
Meta-Heuristic Optimization [0.39146761527401425]
メタヒューリスティック最適化により,計算負荷の少ない様々な問題に対して,ロバストな近似解が得られることを示す。
それまでの作業では、四元数のような検索空間の超複素表現を用いることでこの問題に対処していた。
最適化手順が完了すると、代わりにミンコフスキー$p$-normを用いることでより優れた解を得ることができる。
論文 参考訳（メタデータ） (2023-01-31T14:40:49Z) - Learning to Optimize with Dynamic Mode Decomposition [0.0]
本稿では,動的モード分解法を用いて最適化力学に関する情報的特徴を抽出する方法を示す。
学習結果から,最適化問題を簡潔に解き明かすことにより,より一般化できることが示される。
論文 参考訳（メタデータ） (2022-11-29T14:55:59Z) - Socio-cognitive Optimization of Time-delay Control Problems using
Evolutionary Metaheuristics [89.24951036534168]
メタヒューリスティックス(Metaheuristics)は、古典的なアプローチでは解決できない難解な問題を解くために使用される普遍的な最適化アルゴリズムである。
本稿では,キャストに基づく新しい社会認知メタヒューリスティックの構築を目標とし,このアルゴリズムのいくつかのバージョンを時間遅延システムモデルの最適化に適用する。
論文 参考訳（メタデータ） (2022-10-23T22:21:10Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳（メタデータ） (2022-03-12T16:07:57Z) - Meta Mirror Descent: Optimiser Learning for Fast Convergence [85.98034682899855]
我々は、勾配降下ではなくミラー降下から始まり、対応するブレグマン発散をメタラーニングする。
このパラダイム内では、後悔の限界を最小化するための新しいメタ学習目標を定式化する。
多くのメタ学習オプティマイザとは異なり、収束と一般化の保証もサポートしており、検証データを必要としない。
論文 参考訳（メタデータ） (2022-03-05T11:41:13Z) - Are we Forgetting about Compositional Optimisers in Bayesian
Optimisation? [66.39551991177542]
本稿では,グローバル最適化のためのサンプル手法を提案する。
この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。
3958実験における機能最適化手法の実証的利点を強調する。
論文 参考訳（メタデータ） (2020-12-15T12:18:38Z) - Reverse engineering learned optimizers reveals known and novel
mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。
実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文 参考訳（メタデータ） (2020-11-04T07:12:43Z) - Introduction to Online Convex Optimization [31.771131314017385]
この写本は最適化をプロセスとして描いている。
多くの実践的な応用において、環境は非常に複雑であり、包括的な理論モデルを構築することは不可能である。
論文 参考訳（メタデータ） (2019-09-07T19:06:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。