論文の概要: GLHF: General Learned Evolutionary Algorithm Via Hyper Functions

• arxiv url: http://arxiv.org/abs/2405.03728v1
• Date: Mon, 6 May 2024 09:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-08 18:24:15.398520
• Title: GLHF: General Learned Evolutionary Algorithm Via Hyper Functions
• Title（参考訳）: GLHF:ハイパー関数による一般的な進化的アルゴリズム
• Authors: Xiaobin Li, Kai Wu, Yujian Betterest Li, Xiaoyu Zhang, Handing Wang, Jing Liu,
• Abstract要約: 一般事前学習最適化モデル(GPOM)は、最先端進化アルゴリズムと事前学習最適化モデル(POM)より優れている GPOMは多様なタスク分布、次元、人口規模、最適化地平線にまたがる堅牢な一般化能力を示す。
• 参考スコア（独自算出の注目度）: 16.391389860521134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained Optimization Models (POMs) leverage knowledge gained from optimizing various tasks, providing efficient solutions for new optimization challenges through direct usage or fine-tuning. Despite the inefficiencies and limited generalization abilities observed in current POMs, our proposed model, the general pre-trained optimization model (GPOM), addresses these shortcomings. GPOM constructs a population-based pretrained Black-Box Optimization (BBO) model tailored for continuous optimization. Evaluation on the BBOB benchmark and two robot control tasks demonstrates that GPOM outperforms other pretrained BBO models significantly, especially for high-dimensional tasks. Its direct optimization performance exceeds that of state-of-the-art evolutionary algorithms and POMs. Furthermore, GPOM exhibits robust generalization capabilities across diverse task distributions, dimensions, population sizes, and optimization horizons.
• Abstract（参考訳）: 事前最適化モデル(POM)は、様々なタスクの最適化から得られた知識を活用し、直接使用や微調整による新しい最適化課題に対する効率的な解決策を提供する。 現在のPOMで観測される非効率性と限定的な一般化能力にもかかわらず、提案モデルである一般事前学習最適化モデル(GPOM)はこれらの欠点に対処する。 GPOMは、継続最適化に適した、人口ベースで事前訓練されたブラックボックス最適化(BBO)モデルを構築する。 BBOBベンチマークと2つのロボット制御タスクの評価は、特に高次元タスクにおいて、GPOMが他の事前訓練されたBBOモデルを大幅に上回っていることを示す。 直接最適化性能は最先端の進化アルゴリズムやPOMよりも優れている。 さらに、GPOMは多様なタスク分布、次元、人口規模、最適化地平線にまたがる堅牢な一般化能力を示す。

関連論文リスト

• Scalable Min-Max Optimization via Primal-Dual Exact Pareto Optimization [66.51747366239299]
  拡張ラグランジアンに基づくmin-max問題のスムーズな変種を提案する。 提案アルゴリズムは, 段階的戦略よりも目的数で拡張性が高い。
  論文  参考訳（メタデータ） (2025-03-16T11:05:51Z)
• Large Scale Multi-Task Bayesian Optimization with Large Language Models [29.12351845364205]
  本稿では,大規模言語モデル(LLM)を活用して,従来の最適化軌道から学習し,改良する手法を提案する。 本手法は,データベースクエリ最適化と抗菌ペプチドの設計の2つの異なる領域で評価する。
  論文  参考訳（メタデータ） (2025-03-11T07:46:19Z)
• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• Sharpness-Aware Black-Box Optimization [47.95184866255126]
  シャープネスを考慮したブラックボックス最適化(SABO)アルゴリズムを提案する。 実験により, モデル一般化性能向上のためのSABO法の有効性が実証された。
  論文  参考訳（メタデータ） (2024-10-16T11:08:06Z)
• Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization [1.2891210250935148]
  我々は,エネルギー消費を最小化する目的で,制約付きベイズ最適化(CBO)を評価した。 我々は,MLモデルの予測性能を損なうことなく,CBOによる省エネ効果を実証した。
  論文  参考訳（メタデータ） (2024-07-08T09:49:38Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial Surrogates [0.0]
  我々は、PMBO(Polynomial-based Optimization)と呼ばれるサロゲートベースのブラックボックス最適化手法を導入する。 PMBOの性能を解析的テスト関数の集合に対するいくつかの最適化手法と比較する。 興味深いことに、PMBOは最先端の進化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-03-12T10:21:21Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
  ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。 PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。 PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
  論文  参考訳（メタデータ） (2023-09-01T14:11:03Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
  本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。 進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。 動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
  論文  参考訳（メタデータ） (2022-06-15T10:23:19Z)
• Learning Implicit Priors for Motion Optimization [105.11889448885226]
  エネルギーベースモデル(EBM)は、表現力のある確率密度分布を表す。 本稿では,EMMを動作最適化に適用するために必要となるモデリングとアルゴリズムの選択について述べる。
  論文  参考訳（メタデータ） (2022-04-11T19:14:54Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。