論文の概要: Covariance Matrix Adaptation Evolution Strategy for Low Effective Dimensionality

• arxiv url: http://arxiv.org/abs/2412.01156v1
• Date: Mon, 02 Dec 2024 05:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:47.041888
• Title: Covariance Matrix Adaptation Evolution Strategy for Low Effective Dimensionality
• Title（参考訳）: 低次元化のための共分散行列適応進化戦略
• Authors: Kento Uchida, Teppei Yamaguchi, Shinichi Shirakawa,
• Abstract要約: 我々はCMA-ES-LEDと呼ばれる高次元ブラックボックス最適化問題に対する新しい戦略を提案する。 共分散行列の固有ベクトルを用いて回転変換に取り組む。 実験の結果,CMA-ES-LEDはLEDを用いたベンチマーク関数においてCMA-ESよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.3108652488669732
• License:
• Abstract: Despite the state-of-the-art performance of the covariance matrix adaptation evolution strategy (CMA-ES), high-dimensional black-box optimization problems are challenging tasks. Such problems often involve a property called low effective dimensionality (LED), in which the objective function is formulated with redundant dimensions relative to the intrinsic objective function and a rotation transformation of the search space. The CMA-ES suffers from LED for two reasons: the default hyperparameter setting is determined by the total number of dimensions, and the norm calculations in step-size adaptations are performed including elements on the redundant dimensions. In this paper, we incorporate countermeasures for LED into the CMA-ES and propose CMA-ES-LED. We tackle with the rotation transformation using the eigenvectors of the covariance matrix. We estimate the effectiveness of each dimension in the rotated search space using the element-wise signal-to-noise ratios of the mean vector update and the rank-$\mu$ update, both of which updates can be explained as the natural gradient ascent. Then, we adapt the hyperparameter using the estimated number of effective dimensions. In addition, we refine the cumulative step-size adaptation and the two-point step-size adaptation to measure the norms only on the effective dimensions. The experimental results show the CMA-ES-LED outperforms the CMA-ES on benchmark functions with LED.
• Abstract（参考訳）: 共分散行列適応進化戦略(CMA-ES)の最先端性能にもかかわらず、高次元ブラックボックス最適化問題は難しい課題である。 このような問題はしばしば、対象関数が本質的な目的関数と探索空間の回転変換に対して冗長な次元で定式化される、低有効次元性(LED)と呼ばれる性質を含む。 CMA-ESは、デフォルトのハイパーパラメータ設定を次元の総数で決定し、余剰次元の要素を含むステップサイズ適応におけるノルム計算を行うという2つの理由でLEDに苦しむ。 本稿では,LED対策をCMA-ESに取り入れ,CMA-ES-LEDを提案する。 共分散行列の固有ベクトルを用いて回転変換に取り組む。 平均ベクトル更新の信号対雑音比とランク=$\mu$更新を用いて、回転探索空間における各次元の有効性を推定し、更新を自然な勾配として説明できる。 次に,有効次元の推定値を用いてハイパーパラメータを適応する。 さらに, 累積ステップサイズ適応と2点ステップサイズ適応を改良し, 実効次元でのみノルムを測定する。 実験の結果,CMA-ES-LEDはLEDを用いたベンチマーク関数においてCMA-ESよりも優れていた。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning [11.037221461758806]
  マトリックス変換に基づく低ランク適応(MTLoRA)は、脳の機能はその幾何学的構造によって形成されるという考えから着想を得ている。 MTLoRAは8つのタスクでパフォーマンスが約1.0%向上する。
  論文  参考訳（メタデータ） (2024-03-12T09:32:25Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions [23.746620619512573]
  最近の研究は「メガバッチ」の勾配を計算する効果を克服している 作業は、競争力のあるディープラーニングタスクで更新された後に広く使用される。
  論文  参考訳（メタデータ） (2022-09-29T15:12:54Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。