論文の概要: Fast Moving Natural Evolution Strategy for High-Dimensional Problems

• arxiv url: http://arxiv.org/abs/2201.11422v1
• Date: Thu, 27 Jan 2022 10:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:45:49.578032
• Title: Fast Moving Natural Evolution Strategy for High-Dimensional Problems
• Title（参考訳）: 高次元問題に対する高速進行自然進化戦略
• Authors: Masahiro Nomura, Isao Ono
• Abstract要約: 本研究では,高次元ブラックボックス最適化問題に対する自然進化戦略(NES)の新たな変種を提案する。 提案手法であるCR-FM-NESは,高次元問題に適用するために,最近提案されたファスト・ムーブ・ナチュラル・エナジー・ストラテジー(FM-NES)を拡張した。
• 参考スコア（独自算出の注目度）: 2.512827436728378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a new variant of natural evolution strategies (NES) for high-dimensional black-box optimization problems. The proposed method, CR-FM-NES, extends a recently proposed state-of-the-art NES, Fast Moving Natural Evolution Strategy (FM-NES), in order to be applicable in high-dimensional problems. CR-FM-NES builds on an idea using a restricted representation of a covariance matrix instead of using a full covariance matrix, while inheriting an efficiency of FM-NES. The restricted representation of the covariance matrix enables CR-FM-NES to update parameters of a multivariate normal distribution in linear time and space complexity, which can be applied to high-dimensional problems. Our experimental results reveal that CR-FM-NES does not lose the efficiency of FM-NES, and on the contrary, CR-FM-NES has achieved significant speedup compared to FM-NES on some benchmark problems. Furthermore, our numerical experiments using 200, 600, and 1000-dimensional benchmark problems demonstrate that CR-FM-NES is effective over scalable baseline methods, VD-CMA and Sep-CMA.
• Abstract（参考訳）: 本研究では,高次元ブラックボックス最適化問題に対する自然進化戦略(NES)の新たな変種を提案する。 提案手法であるcr-fm-nesは,最近提案された最先端のnes,高速移動型自然進化戦略(fm-nes)を拡張し,高次元問題に適用する。 CR-FM-NESは、FM-NESの効率を継承しながら、完全な共分散行列ではなく、共分散行列の制限された表現を用いたアイデアに基づいている。 共分散行列の制限された表現により、CR-FM-NESは線形時間と空間の複雑さの多変量正規分布のパラメータを更新することができる。 実験結果から, CR-FM-NESはFM-NESの効率を損なわないことが明らかとなった。 さらに,200,600,1000次元のベンチマーク問題を用いた数値実験により,CR-FM-NESは拡張性のあるベースライン法,VD-CMA,Sep-CMAに対して有効であることが示された。

関連論文リスト

• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
  MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。 実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:20:34Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Natural Evolution Strategy for Mixed-Integer Black-Box Optimization [0.0]
  CMA-ES w. MarginはMI-BBOベンチマーク問題で優れた性能を示したと伝えられている。 DX-NES-ICI は CMA-ES w. Margin の3.7倍の速度で最適解を求めることができた。
  論文  参考訳（メタデータ） (2023-04-21T03:34:22Z)
• Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
  適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。 モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。 本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• NxMTransformer: Semi-Structured Sparsification for Natural Language Understanding via ADMM [16.464030458567187]
  我々はNxMTransformerと呼ばれる新しい学習フレームワークを導入し、事前訓練された言語モデル上でNxM半構造化空間を誘導する。 我々は,制約付き最適化問題としてNxM空間を定式化し,下流タスクの最適化に Alternating Direction Method of Multipliers (ADMM) を用いることを提案する。 提案手法は,GLUEスコアの1.7ポイントの精度を現行の手法よりも高い精度で達成できる。
  論文  参考訳（メタデータ） (2021-10-28T17:43:06Z)
• Natural Evolution Strategy for Unconstrained and Implicitly Constrained Problems with Ridge Structure [2.512827436728378]
  本研究では,制約のないブラックボックス関数最適化(BBFO)問題と暗黙的に制約されたBBFO問題に対する新たな自然進化戦略を提案する。 FM-NESは棟構造の問題やDX-NES-ICとほぼ同等の性能でDX-NES-ICよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-21T08:01:56Z)
• Mixed Variable Bayesian Optimization with Frequency Modulated Kernels [96.78099706164747]
  異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。 BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
  論文  参考訳（メタデータ） (2021-02-25T11:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。