論文の概要: GLHF: General Learned Evolutionary Algorithm Via Hyper Functions

• arxiv url: http://arxiv.org/abs/2405.03728v1
• Date: Mon, 6 May 2024 09:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:24:15.398520
• Title: GLHF: General Learned Evolutionary Algorithm Via Hyper Functions
• Title（参考訳）: GLHF:ハイパー関数による一般的な進化的アルゴリズム
• Authors: Xiaobin Li, Kai Wu, Yujian Betterest Li, Xiaoyu Zhang, Handing Wang, Jing Liu,
• Abstract要約: 一般事前学習最適化モデル(GPOM)は、最先端進化アルゴリズムと事前学習最適化モデル(POM)より優れている GPOMは多様なタスク分布、次元、人口規模、最適化地平線にまたがる堅牢な一般化能力を示す。
• 参考スコア（独自算出の注目度）: 16.391389860521134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained Optimization Models (POMs) leverage knowledge gained from optimizing various tasks, providing efficient solutions for new optimization challenges through direct usage or fine-tuning. Despite the inefficiencies and limited generalization abilities observed in current POMs, our proposed model, the general pre-trained optimization model (GPOM), addresses these shortcomings. GPOM constructs a population-based pretrained Black-Box Optimization (BBO) model tailored for continuous optimization. Evaluation on the BBOB benchmark and two robot control tasks demonstrates that GPOM outperforms other pretrained BBO models significantly, especially for high-dimensional tasks. Its direct optimization performance exceeds that of state-of-the-art evolutionary algorithms and POMs. Furthermore, GPOM exhibits robust generalization capabilities across diverse task distributions, dimensions, population sizes, and optimization horizons.
• Abstract（参考訳）: 事前最適化モデル(POM)は、様々なタスクの最適化から得られた知識を活用し、直接使用や微調整による新しい最適化課題に対する効率的な解決策を提供する。 現在のPOMで観測される非効率性と限定的な一般化能力にもかかわらず、提案モデルである一般事前学習最適化モデル(GPOM)はこれらの欠点に対処する。 GPOMは、継続最適化に適した、人口ベースで事前訓練されたブラックボックス最適化(BBO)モデルを構築する。 BBOBベンチマークと2つのロボット制御タスクの評価は、特に高次元タスクにおいて、GPOMが他の事前訓練されたBBOモデルを大幅に上回っていることを示す。 直接最適化性能は最先端の進化アルゴリズムやPOMよりも優れている。 さらに、GPOMは多様なタスク分布、次元、人口規模、最適化地平線にまたがる堅牢な一般化能力を示す。

関連論文リスト

• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
  本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。 進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。 動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
  論文  参考訳（メタデータ） (2022-06-15T10:23:19Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。