論文の概要: Natural Evolution Strategy for Unconstrained and Implicitly Constrained Problems with Ridge Structure

• arxiv url: http://arxiv.org/abs/2108.09455v2
• Date: Sat, 16 Oct 2021 23:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 21:09:48.577814
• Title: Natural Evolution Strategy for Unconstrained and Implicitly Constrained Problems with Ridge Structure
• Title（参考訳）: 尾根構造を有する非拘束・非拘束問題に対する自然進化戦略
• Authors: Masahiro Nomura, Isao Ono
• Abstract要約: 本研究では,制約のないブラックボックス関数最適化(BBFO)問題と暗黙的に制約されたBBFO問題に対する新たな自然進化戦略を提案する。 FM-NESは棟構造の問題やDX-NES-ICとほぼ同等の性能でDX-NES-ICよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 2.512827436728378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new natural evolution strategy for unconstrained black-box function optimization (BBFO) problems and implicitly constrained BBFO problems. BBFO problems are known to be difficult because explicit representations of objective functions are not available. Implicit constraints make the problems more difficult because whether or not a solution is feasible is revealed when the solution is evaluated with the objective function. DX-NES-IC is one of the promising methods for implicitly constrained BBFO problems. DX-NES-IC has shown better performance than conventional methods on implicitly constrained benchmark problems. However, DX-NES-IC has a problem in that the moving speed of the probability distribution is slow on ridge structure. To address the problem, we propose the Fast Moving Natural Evolution Strategy (FM-NES) that accelerates the movement of the probability distribution on ridge structure by introducing the rank-one update into DX-NES-IC. The rank-one update is utilized in CMA-ES. Since naively introducing the rank-one update makes the search performance deteriorate on implicitly constrained problems, we propose a condition of performing the rank-one update. We also propose to reset the shape of the probability distribution when an infeasible solution is sampled at the first time. In numerical experiments using unconstrained and implicitly constrained benchmark problems, FM-NES showed better performance than DX-NES-IC on problems with ridge structure and almost the same performance as DX-NES-IC on the others. Furthermore, FM-NES outperformed xNES, CMA-ES, xNES with the resampling technique, and CMA-ES with the resampling technique.
• Abstract（参考訳）: 本稿では,非拘束型ブラックボックス関数最適化(bbfo)問題と暗黙制約型bbfo問題に対する新しい自然進化戦略を提案する。 BBFO問題は、目的関数の明示的な表現が利用できないため、難しいことが知られている。 暗黙の制約は、解が目的関数で評価されたときに解が実現可能かどうかが明らかにされるため、問題をより困難にする。 DX-NES-ICは暗黙的に制約されたBBFO問題の1つである。 DX-NES-ICは、暗黙的に制約されたベンチマーク問題に対する従来の手法よりも優れた性能を示している。 しかし、DX-NES-ICは、隆起構造において確率分布の移動速度が遅いという問題がある。 この問題に対処するために,DX-NES-ICにランクワン更新を導入することにより,尾根構造上の確率分布の移動を加速する高速移動自然進化戦略(FM-NES)を提案する。 ランクワン更新はCMA-ESで利用される。 ランクワン更新を導入することで,暗黙的に制約された問題に対して検索性能が低下するので,ランクワン更新を行う条件を提案する。 また,実現不可能な解を初めてサンプリングした場合に,確率分布の形状をリセットすることを提案する。 制約のない暗黙的に制約されたベンチマーク問題を用いた数値実験では、FM-NESはリッジ構造の問題とDX-NES-ICとほぼ同等の性能でDX-NES-ICよりも優れた性能を示した。 さらに、FM-NESは、再サンプリング技術でxNES、CMA-ES、xNES、再サンプリング技術でCMA-ESを上回った。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Natural Evolution Strategy for Mixed-Integer Black-Box Optimization [0.0]
  CMA-ES w. MarginはMI-BBOベンチマーク問題で優れた性能を示したと伝えられている。 DX-NES-ICI は CMA-ES w. Margin の3.7倍の速度で最適解を求めることができた。
  論文  参考訳（メタデータ） (2023-04-21T03:34:22Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Fast Moving Natural Evolution Strategy for High-Dimensional Problems [2.512827436728378]
  本研究では,高次元ブラックボックス最適化問題に対する自然進化戦略(NES)の新たな変種を提案する。 提案手法であるCR-FM-NESは,高次元問題に適用するために,最近提案されたファスト・ムーブ・ナチュラル・エナジー・ストラテジー(FM-NES)を拡張した。
  論文  参考訳（メタデータ） (2022-01-27T10:18:11Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets [147.11434031193164]
  本研究では,データサンプルが不均一に作業者間で分散されている場合の耐障害性フェデレーション学習について検討する。 データセットを戦略的に破壊する可能性のある敵意的な欠陥のある労働者が存在する場合、交換されたローカルメッセージは信頼できない。 本研究は,Nesterovの加速技術に依存するフォールトレジリエント勾配(FRPG)アルゴリズムを提案する。 強い凸損失関数に対して、FRPGとLFRPGは、ベンチマークロバストな集約アルゴリズムよりも明らかに高速な収束率を持つ。
  論文  参考訳（メタデータ） (2020-06-17T16:50:33Z)
• Corruption-Tolerant Gaussian Process Bandit Optimization [130.60115798580136]
  未知(典型的には非生成)関数を有界ノルムで最適化する問題を考察する。 我々は「高速だが非ローバスト」と「スロー」に基づく高速スローGP-UCBに基づくアルゴリズムを提案する。 ある種の依存関係は、汚職レベルによっては要求できない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-03-04T09:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。