論文の概要: Symbol: Generating Flexible Black-Box Optimizers through Symbolic Equation Learning

• arxiv url: http://arxiv.org/abs/2402.02355v1
• Date: Sun, 4 Feb 2024 05:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:11:19.104794
• Title: Symbol: Generating Flexible Black-Box Optimizers through Symbolic Equation Learning
• Title（参考訳）: symbol:シンボリック方程式学習によるフレキシブルブラックボックスオプティマイザの生成
• Authors: Jiacheng Chen, Zeyuan Ma, Hongshu Guo, Yining Ma, Jie Zhang, Yue-jiao Gong
• Abstract要約: シンボル方程式学習によるブラックボックスの自動発見を促進するフレームワークであるtextscSymbolを提案する。 具体的には、閉形式最適化ルールを動的に生成できる記号方程式生成器(SEG)を提案する。 大規模な実験により、textscSymbolによって生成される一般化は最先端のBBOやMetaBBOのベースラインを超えるだけでなく、例外的なゼロショット能力を示すことが明らかになった。
• 参考スコア（独自算出の注目度）: 16.338146844605404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Meta-learning for Black-Box Optimization (MetaBBO) methods harness neural networks to meta-learn configurations of traditional black-box optimizers. Despite their success, they are inevitably restricted by the limitations of predefined hand-crafted optimizers. In this paper, we present \textsc{Symbol}, a novel framework that promotes the automated discovery of black-box optimizers through symbolic equation learning. Specifically, we propose a Symbolic Equation Generator (SEG) that allows closed-form optimization rules to be dynamically generated for specific tasks and optimization steps. Within \textsc{Symbol}, we then develop three distinct strategies based on reinforcement learning, so as to meta-learn the SEG efficiently. Extensive experiments reveal that the optimizers generated by \textsc{Symbol} not only surpass the state-of-the-art BBO and MetaBBO baselines, but also exhibit exceptional zero-shot generalization abilities across entirely unseen tasks with different problem dimensions, population sizes, and optimization horizons. Furthermore, we conduct in-depth analyses of our \textsc{Symbol} framework and the optimization rules that it generates, underscoring its desirable flexibility and interpretability.
• Abstract（参考訳）: 最近のメタラーニングによるブラックボックス最適化(MetaBBO)手法は、ニューラルネットワークを利用して従来のブラックボックスオプティマイザのメタ学習構成を行う。 その成功にもかかわらず、事前に定義された手作りオプティマイザの制限によって必然的に制限される。 本稿では,記号方程式学習によるブラックボックスオプティマイザの自動発見を促進する新しいフレームワークであるtextsc{Symbol}を提案する。 具体的には、特定のタスクや最適化ステップに対して閉形式最適化ルールを動的に生成できるシンボリック方程式生成器(seg)を提案する。 次に,強化学習に基づく3つの戦略を開発し,SEGを効率的にメタ学習する。 広範な実験により、textsc{Symbol} が生成する最適化器は、最先端のBBOとMetaBBOのベースラインを超えるだけでなく、問題次元、人口規模、最適化水平線の異なる全く見えないタスクにわたって、例外的にゼロショットの一般化能力を示すことが明らかになった。 さらに,本フレームワークと,それが生成する最適化ルールの詳細な分析を行い,その望ましい柔軟性と解釈可能性を強調した。

関連論文リスト

• Neural Exploratory Landscape Analysis [12.6318861144205]
  本稿では,2段階の注目型ニューラルネットワークを用いてランドスケープの特徴を動的にプロファイリングする新しいフレームワークを提案する。 NeurELAは、マルチタスクの神経進化戦略を用いて、様々なMetaBBOアルゴリズム上で事前訓練されている。
  論文  参考訳（メタデータ） (2024-08-20T09:17:11Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。 $(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。