論文の概要: Pretrained Optimization Model for Zero-Shot Black Box Optimization

• arxiv url: http://arxiv.org/abs/2405.03728v2
• Date: Fri, 06 Dec 2024 08:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:38.965158
• Title: Pretrained Optimization Model for Zero-Shot Black Box Optimization
• Title（参考訳）: ゼロショットブラックボックス最適化のための事前最適化モデル
• Authors: Xiaobin Li, Kai Wu, Yujian Betterest Li, Xiaoyu Zhang, Handing Wang, Jing Liu,
• Abstract要約: 多様なタスクの最適化から得られた知識を活用する事前学習最適化モデル(POM)を提案する。 POMは、直接アプリケーションや数発のサンプルによる微調整を通じて、ゼロショット最適化の効率的なソリューションを提供する。 少数のサンプルと予算を持つ微調整POMは、大幅な性能改善をもたらす。
• 参考スコア（独自算出の注目度）: 16.391389860521134
• License:
• Abstract: Zero-shot optimization involves optimizing a target task that was not seen during training, aiming to provide the optimal solution without or with minimal adjustments to the optimizer. It is crucial to ensure reliable and robust performance in various applications. Current optimizers often struggle with zero-shot optimization and require intricate hyperparameter tuning to adapt to new tasks. To address this, we propose a Pretrained Optimization Model (POM) that leverages knowledge gained from optimizing diverse tasks, offering efficient solutions to zero-shot optimization through direct application or fine-tuning with few-shot samples. Evaluation on the BBOB benchmark and two robot control tasks demonstrates that POM outperforms state-of-the-art black-box optimization methods, especially for high-dimensional tasks. Fine-tuning POM with a small number of samples and budget yields significant performance improvements. Moreover, POM demonstrates robust generalization across diverse task distributions, dimensions, population sizes, and optimization horizons. For code implementation, see https://github.com/ninja-wm/POM/.
• Abstract（参考訳）: ゼロショット最適化は、トレーニング中に見られなかった目標タスクを最適化することを含み、最適化器に最小限の調整を加えることなく最適なソリューションを提供することを目的としている。 様々なアプリケーションにおいて信頼性と堅牢性を保証することが重要です。 現在のオプティマイザはゼロショット最適化に苦労することが多く、新しいタスクに適応するために複雑なハイパーパラメータチューニングを必要とする。 そこで本研究では,多種多様なタスクの最適化から得られた知識を活用し,直接アプリケーションによるゼロショット最適化や,少数のサンプルによる微調整によるゼロショット最適化のための効率的なソリューションを提供する,事前学習最適化モデルを提案する。 BBOBベンチマークと2つのロボット制御タスクの評価は、POMが特に高次元タスクにおいて最先端のブラックボックス最適化手法より優れていることを示す。 少数のサンプルと予算を持つ微調整POMは、大幅な性能改善をもたらす。 さらに、POMは多様なタスク分布、次元、人口規模、最適化地平線をまたいだ堅牢な一般化を示す。 コード実装については、https://github.com/ninja-wm/POM/を参照してください。

関連論文リスト

• Sharpness-Aware Black-Box Optimization [47.95184866255126]
  シャープネスを考慮したブラックボックス最適化(SABO)アルゴリズムを提案する。 実験により, モデル一般化性能向上のためのSABO法の有効性が実証された。
  論文  参考訳（メタデータ） (2024-10-16T11:08:06Z)
• Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization [1.2891210250935148]
  我々は,エネルギー消費を最小化する目的で,制約付きベイズ最適化(CBO)を評価した。 我々は,MLモデルの予測性能を損なうことなく,CBOによる省エネ効果を実証した。
  論文  参考訳（メタデータ） (2024-07-08T09:49:38Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial Surrogates [0.0]
  我々は、PMBO(Polynomial-based Optimization)と呼ばれるサロゲートベースのブラックボックス最適化手法を導入する。 PMBOの性能を解析的テスト関数の集合に対するいくつかの最適化手法と比較する。 興味深いことに、PMBOは最先端の進化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-03-12T10:21:21Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
  ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。 PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。 PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
  論文  参考訳（メタデータ） (2023-09-01T14:11:03Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• Learning Implicit Priors for Motion Optimization [105.11889448885226]
  エネルギーベースモデル(EBM)は、表現力のある確率密度分布を表す。 本稿では,EMMを動作最適化に適用するために必要となるモデリングとアルゴリズムの選択について述べる。
  論文  参考訳（メタデータ） (2022-04-11T19:14:54Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。