論文の概要: CatCMA : Stochastic Optimization for Mixed-Category Problems
- arxiv url: http://arxiv.org/abs/2405.09962v1
- Date: Thu, 16 May 2024 10:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 14:41:47.975571
- Title: CatCMA : Stochastic Optimization for Mixed-Category Problems
- Title（参考訳）: CatCMA : 混合カテゴリ問題に対する確率的最適化
- Authors: Ryoki Hamano, Shota Saito, Masahiro Nomura, Kento Uchida, Shinichi Shirakawa,
- Abstract要約: ブラックボックス最適化の問題は、連続変数、整数変数、カテゴリー変数など、異なるタイプの変数を同時に最適化する必要があることが多い。
いくつかのベイズ最適化手法は混合カテゴリブラックボックス最適化(MC-BBO)を扱うことができるが、高次元問題へのスケーラビリティの欠如と内部計算コストに悩まされている。
本稿では,MC-BBO問題に対する新しい最適化手法であるCatCMAを提案する。
- 参考スコア（独自算出の注目度）: 9.13074910982872
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Black-box optimization problems often require simultaneously optimizing different types of variables, such as continuous, integer, and categorical variables. Unlike integer variables, categorical variables do not necessarily have a meaningful order, and the discretization approach of continuous variables does not work well. Although several Bayesian optimization methods can deal with mixed-category black-box optimization (MC-BBO), they suffer from a lack of scalability to high-dimensional problems and internal computational cost. This paper proposes CatCMA, a stochastic optimization method for MC-BBO problems, which employs the joint probability distribution of multivariate Gaussian and categorical distributions as the search distribution. CatCMA updates the parameters of the joint probability distribution in the natural gradient direction. CatCMA also incorporates the acceleration techniques used in the covariance matrix adaptation evolution strategy (CMA-ES) and the stochastic natural gradient method, such as step-size adaptation and learning rate adaptation. In addition, we restrict the ranges of the categorical distribution parameters by margin to prevent premature convergence and analytically derive a promising margin setting. Numerical experiments show that the performance of CatCMA is superior and more robust to problem dimensions compared to state-of-the-art Bayesian optimization algorithms.
- Abstract（参考訳）: ブラックボックス最適化の問題は、連続変数、整数変数、カテゴリー変数など、異なるタイプの変数を同時に最適化する必要があることが多い。
整数変数とは異なり、圏変数は必ずしも有意な順序を持たず、連続変数の離散化アプローチはうまく機能しない。
いくつかのベイズ最適化手法は混合カテゴリブラックボックス最適化(MC-BBO)を扱うことができるが、高次元問題へのスケーラビリティの欠如と内部計算コストに悩まされている。
本稿では,多変量ガウス分布とカテゴリー分布の合同確率分布を探索分布として用いた,MC-BBO問題の確率的最適化手法であるCatCMAを提案する。
CatCMAは、自然勾配方向の結合確率分布のパラメータを更新する。
CatCMAはまた、共分散行列適応進化戦略(CMA-ES)や、ステップサイズ適応や学習率適応といった確率的自然勾配法で用いられる加速技術も取り入れている。
さらに,分類分布パラメータの範囲をマージンで制限し,早期収束を防止し,有望なマージン設定を解析的に導出する。
数値実験により、CatCMAの性能は、最先端のベイズ最適化アルゴリズムと比較して、問題次元よりも優れ、より堅牢であることが示された。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - CMA-ES for Discrete and Mixed-Variable Optimization on Sets of Points [9.130749109828717]
本稿では,点集合の最適化に焦点をあて,共分散行列適応進化戦略(CMA-ES)を拡張した最適化手法を提案する。
CMA-ES-SoPは、隣接点の生成確率を維持するマージン補正を組み込んで、特定の非最適点への早めの収束を防ぐ。
数値シミュレーションにより、CMA-ES-SoPは点集合の最適化に成功し、単純CMA-ESは初期収束のために最適化に失敗した。
論文 参考訳（メタデータ） (2024-08-23T13:10:06Z) - (1+1)-CMA-ES with Margin for Discrete and Mixed-Integer Problems [6.181926091202142]
本稿では,CMA-ESのエリート版である (1+1)-CMA-ES にマージン補正を導入する。
1+1)-CMA-ESは、しばしば単項関数に有利であり、計算コストが低い。
混合整数、整数、二項領域のベンチマーク関数を用いた数値シミュレーションにより、(1+1)-CMA-ESのマージンは(1+1)-CMA-ESのマージンよりも優れていた。
論文 参考訳（メタデータ） (2023-05-01T14:34:55Z) - Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。
凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。
切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
論文 参考訳（メタデータ） (2023-03-28T01:30:40Z) - Marginal Probability-Based Integer Handling for CMA-ES Tackling
Single-and Multi-Objective Mixed-Integer Black-Box Optimization [10.42820615166362]
連続変数と整数変数を同時に最適化する混合整数ブラックボックス最適化(MI-BBO)問題について検討する。
MGDにおける整数変数の生成に関連する限界確率の低境界に基づいて,CMA-ESに対する単純な整数処理を提案する。
論文 参考訳（メタデータ） (2022-12-19T06:08:20Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - CMA-ES with Margin: Lower-Bounding Marginal Probability for
Mixed-Integer Black-Box Optimization [5.237999056930947]
本研究の目的は、連続変数と整数変数を同時に最適化する混合整数ブラックボックス最適化(MI-BBO)問題である。
MGDにおける整数変数の生成に関連する限界確率の低境界に基づくCMA-ESの簡単な修正を提案する。
論文 参考訳（メタデータ） (2022-05-26T16:47:56Z) - Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals [10.40799693791025]
カテゴリー変数と連続変数の両方で定義される最適化問題。
包括的視点を採用し、分類的および連続的な部分空間の最適化を統合することを目的としている。
この統一アプローチは、既存の混合変数最適化アプローチよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-10T04:42:48Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。