論文の概要: Natural Gradient Interpretation of Rank-One Update in CMA-ES

• arxiv url: http://arxiv.org/abs/2406.16506v1
• Date: Mon, 24 Jun 2024 10:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 15:14:19.655534
• Title: Natural Gradient Interpretation of Rank-One Update in CMA-ES
• Title（参考訳）: CMA-ESにおけるランクワン更新の自然なグラディエント解釈
• Authors: Ryoki Hamano, Shinichi Shirakawa, Masahiro Nomura,
• Abstract要約: 我々は,CMA-ESにおけるランクワン更新の新しい解釈を,先行分布による自然勾配の観点から提案する。 我々は、平均ベクトルが進化経路の方向に存在すべきという考えに基づいて、事前分布を設定することにより、MAP-IGOフレームワークからのランクワン更新を導出する。
• 参考スコア（独自算出の注目度）: 3.962636408554122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The covariance matrix adaptation evolution strategy (CMA-ES) is a stochastic search algorithm using a multivariate normal distribution for continuous black-box optimization. In addition to strong empirical results, part of the CMA-ES can be described by a stochastic natural gradient method and can be derived from information geometric optimization (IGO) framework. However, there are some components of the CMA-ES, such as the rank-one update, for which the theoretical understanding is limited. While the rank-one update makes the covariance matrix to increase the likelihood of generating a solution in the direction of the evolution path, this idea has been difficult to formulate and interpret as a natural gradient method unlike the rank-$\mu$ update. In this work, we provide a new interpretation of the rank-one update in the CMA-ES from the perspective of the natural gradient with prior distribution. First, we propose maximum a posteriori IGO (MAP-IGO), which is the IGO framework extended to incorporate a prior distribution. Then, we derive the rank-one update from the MAP-IGO by setting the prior distribution based on the idea that the promising mean vector should exist in the direction of the evolution path. Moreover, the newly derived rank-one update is extensible, where an additional term appears in the update for the mean vector. We empirically investigate the properties of the additional term using various benchmark functions.
• Abstract（参考訳）: 共分散行列適応進化戦略 (CMA-ES) は連続ブラックボックス最適化のための多変量正規分布を用いた確率的探索アルゴリズムである。 CMA-ESの一部は確率的自然勾配法で記述することができ、情報幾何最適化(IGO)フレームワークから導出することができる。 しかし、CMA-ESのいくつかの構成要素、例えばランクワン更新は理論的な理解が限られている。 階数1の更新により、共分散行列は進化経路の方向に解を生成する可能性を高めることができるが、階数$\mu$の更新とは異なり、自然勾配法として定式化して解釈することは困難である。 本研究では,CMA-ESにおけるランクワン更新の新しい解釈を,先行分布の自然勾配の観点から提案する。 まず,先行分布を組み込むために拡張されたIGOフレームワークであるMAP-IGOを提案する。 そして、進化経路の方向に有望な平均ベクトルが存在するという考え方に基づいて事前分布を設定することにより、MAP-IGOからランクワン更新を導出する。 さらに、新たに導出されたランクワン更新は拡張可能であり、平均ベクトルの更新に追加用語が現れる。 種々のベンチマーク関数を用いた追加項の特性を実験的に検討する。

関連論文リスト

• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• An information-theoretic evolutionary algorithm [0.0]
  It-EAは、検索分布を2つのパラメータで反復的に更新する。 実証分析では、OneMaxとLeadingOnesでは、エリート主義者で非エリート主義者の it-EA が有望な結果を得る。
  論文  参考訳（メタデータ） (2023-04-12T16:36:22Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
  集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。 Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
  論文  参考訳（メタデータ） (2021-10-05T14:51:19Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)
• The Hessian Estimation Evolution Strategy [3.756550107432323]
  我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。 アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
  論文  参考訳（メタデータ） (2020-03-30T08:01:16Z)
• Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples [67.11669996924671]
  GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。 ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。 このトップk更新の手順が一般的に適用可能な改善であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T19:27:50Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• The CMA Evolution Strategy: A Tutorial [0.0]
  このチュートリアルでは、CMAがCovariance Matrix Adaptationを表すCMA(ES)を紹介します。 CMA-ESは、非線形または連続的なドメイン最適化のためのランダム化、または進化戦略である。 我々は,連続探索アルゴリズムにおいて,非線形あるいは連続領域の要件から概念を導出しようと試みる。
  論文  参考訳（メタデータ） (2016-04-04T08:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。