論文の概要: Fast Moving Natural Evolution Strategy for High-Dimensional Problems
- arxiv url: http://arxiv.org/abs/2201.11422v1
- Date: Thu, 27 Jan 2022 10:18:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:45:49.578032
- Title: Fast Moving Natural Evolution Strategy for High-Dimensional Problems
- Title(参考訳): 高次元問題に対する高速進行自然進化戦略
- Authors: Masahiro Nomura, Isao Ono
- Abstract要約: 本研究では,高次元ブラックボックス最適化問題に対する自然進化戦略(NES)の新たな変種を提案する。
提案手法であるCR-FM-NESは,高次元問題に適用するために,最近提案されたファスト・ムーブ・ナチュラル・エナジー・ストラテジー(FM-NES)を拡張した。
- 参考スコア(独自算出の注目度): 2.512827436728378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a new variant of natural evolution strategies (NES)
for high-dimensional black-box optimization problems. The proposed method,
CR-FM-NES, extends a recently proposed state-of-the-art NES, Fast Moving
Natural Evolution Strategy (FM-NES), in order to be applicable in
high-dimensional problems. CR-FM-NES builds on an idea using a restricted
representation of a covariance matrix instead of using a full covariance
matrix, while inheriting an efficiency of FM-NES. The restricted representation
of the covariance matrix enables CR-FM-NES to update parameters of a
multivariate normal distribution in linear time and space complexity, which can
be applied to high-dimensional problems. Our experimental results reveal that
CR-FM-NES does not lose the efficiency of FM-NES, and on the contrary,
CR-FM-NES has achieved significant speedup compared to FM-NES on some benchmark
problems. Furthermore, our numerical experiments using 200, 600, and
1000-dimensional benchmark problems demonstrate that CR-FM-NES is effective
over scalable baseline methods, VD-CMA and Sep-CMA.
- Abstract(参考訳): 本研究では,高次元ブラックボックス最適化問題に対する自然進化戦略(NES)の新たな変種を提案する。
提案手法であるcr-fm-nesは,最近提案された最先端のnes,高速移動型自然進化戦略(fm-nes)を拡張し,高次元問題に適用する。
CR-FM-NESは、FM-NESの効率を継承しながら、完全な共分散行列ではなく、共分散行列の制限された表現を用いたアイデアに基づいている。
共分散行列の制限された表現により、CR-FM-NESは線形時間と空間の複雑さの多変量正規分布のパラメータを更新することができる。
実験結果から, CR-FM-NESはFM-NESの効率を損なわないことが明らかとなった。
さらに,200,600,1000次元のベンチマーク問題を用いた数値実験により,CR-FM-NESは拡張性のあるベースライン法,VD-CMA,Sep-CMAに対して有効であることが示された。
関連論文リスト
- Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - Natural Evolution Strategy for Mixed-Integer Black-Box Optimization [0.0]
CMA-ES w. MarginはMI-BBOベンチマーク問題で優れた性能を示したと伝えられている。
DX-NES-ICI は CMA-ES w. Margin の3.7倍の速度で最適解を求めることができた。
論文 参考訳(メタデータ) (2023-04-21T03:34:22Z) - MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource
Visual Question Answering [66.05768870785548]
微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。
現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。
低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
論文 参考訳(メタデータ) (2023-03-02T13:28:50Z) - Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。
モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。
本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
論文 参考訳(メタデータ) (2022-10-23T02:06:48Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳(メタデータ) (2022-03-26T20:37:14Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - NxMTransformer: Semi-Structured Sparsification for Natural Language
Understanding via ADMM [16.464030458567187]
我々はNxMTransformerと呼ばれる新しい学習フレームワークを導入し、事前訓練された言語モデル上でNxM半構造化空間を誘導する。
我々は,制約付き最適化問題としてNxM空間を定式化し,下流タスクの最適化に Alternating Direction Method of Multipliers (ADMM) を用いることを提案する。
提案手法は,GLUEスコアの1.7ポイントの精度を現行の手法よりも高い精度で達成できる。
論文 参考訳(メタデータ) (2021-10-28T17:43:06Z) - Natural Evolution Strategy for Unconstrained and Implicitly Constrained
Problems with Ridge Structure [2.512827436728378]
本研究では,制約のないブラックボックス関数最適化(BBFO)問題と暗黙的に制約されたBBFO問題に対する新たな自然進化戦略を提案する。
FM-NESは棟構造の問題やDX-NES-ICとほぼ同等の性能でDX-NES-ICよりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-21T08:01:56Z) - Mixed Variable Bayesian Optimization with Frequency Modulated Kernels [96.78099706164747]
異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。
BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
論文 参考訳(メタデータ) (2021-02-25T11:28:46Z) - Integrating Variable Reduction Strategy with Evolutionary Algorithm for
Solving Nonlinear Equations Systems [78.08328822422382]
本稿では、NESを解くために、可変化戦略(VRS)を進化的アルゴリズム(EA)に組み込むことを提案する。
VRSは、NESを表現するシステムを完全に利用し、方程式系に存在する変数関係を通して他の変数(例えば、還元変数)を表現するためにいくつかの変数(コア変数)を使用する。
ファミコン処理におけるVRSの有効性を検証するために,本稿では,VRSを既存の2つのEA手法に統合する。
論文 参考訳(メタデータ) (2020-07-13T09:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。