論文の概要: Toward Automated Algorithm Design: A Survey and Practical Guide to Meta-Black-Box-Optimization

• arxiv url: http://arxiv.org/abs/2411.00625v1
• Date: Fri, 01 Nov 2024 14:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:51.650023
• Title: Toward Automated Algorithm Design: A Survey and Practical Guide to Meta-Black-Box-Optimization
• Title（参考訳）: アルゴリズムの自動設計に向けて:メタブラックボックス最適化のための調査と実践的ガイド
• Authors: Zeyuan Ma, Hongshu Guo, Yue-Jiao Gong, Jun Zhang, Kay Chen Tan,
• Abstract要約: 本稿では,進化計算(EC)コミュニティにおけるメタブラックボックス最適化(MetaBBO)について紹介する。 MetaBBOの成功にもかかわらず、現在の文献は主要な側面の要約が不十分であり、実装に関する実践的なガイダンスが欠如している。
• 参考スコア（独自算出の注目度）: 22.902923118981857
• License:
• Abstract: In this survey, we introduce Meta-Black-Box-Optimization (MetaBBO) as an emerging avenue within the Evolutionary Computation (EC) community, which incorporates Meta-learning approaches to assist automated algorithm design. Despite the success of MetaBBO, the current literature provides insufficient summaries of its key aspects and lacks practical guidance for implementation. To bridge this gap, we offer a comprehensive review of recent advances in MetaBBO, providing an in-depth examination of its key developments. We begin with a unified definition of the MetaBBO paradigm, followed by a systematic taxonomy of various algorithm design tasks, including algorithm selection, algorithm configuration, solution manipulation, and algorithm generation. Further, we conceptually summarize different learning methodologies behind current MetaBBO works, including reinforcement learning, supervised learning, neuroevolution, and in-context learning with Large Language Models. A comprehensive evaluation of the latest representative MetaBBO methods is then carried out, alongside an experimental analysis of their optimization performance, computational efficiency, and generalization ability. Based on the evaluation results, we meticulously identify a set of core designs that enhance the generalization and learning effectiveness of MetaBBO. Finally, we outline the vision for the field by providing insight into the latest trends and potential future directions. Relevant literature will be continuously collected and updated at https://github.com/GMC-DRL/Awesome-MetaBBO.
• Abstract（参考訳）: 本稿では,メタ・ブラックボックス最適化(MetaBBO)を,自動アルゴリズム設計を支援するメタラーニングアプローチを取り入れた進化型計算(EC)コミュニティの新たな道として紹介する。 MetaBBOの成功にもかかわらず、現在の文献は主要な側面の要約が不十分であり、実装に関する実践的なガイダンスが欠如している。 このギャップを埋めるため,MetaBBOの最近の進歩を包括的にレビューし,その重要な展開を詳細に検討する。 メタBBOパラダイムの統一的な定義から始め,アルゴリズム選択,アルゴリズム構成,ソリューション操作,アルゴリズム生成など,さまざまなアルゴリズム設計タスクの体系的な分類法が続く。 さらに,強化学習,教師付き学習,神経進化,大規模言語モデルを用いたテキスト内学習など,現在のMetaBBO作品の背後にあるさまざまな学習方法論を概念的に要約する。 次に,最新のMetaBBO手法の総合評価を行い,最適化性能,計算効率,一般化能力の実験的解析を行った。 評価結果に基づいて,MetaBBOの一般化と学習効率を高めるコア設計の集合を慎重に同定する。 最後に、最新のトレンドと今後の展望について洞察を提供することにより、この分野のビジョンを概説する。 関連文献はhttps://github.com/GMC-DRL/Awesome-MetaBBO.comで継続的に収集および更新される。

関連論文リスト

• Neural Exploratory Landscape Analysis [12.6318861144205]
  本稿では,2段階の注目型ニューラルネットワークを用いてランドスケープの特徴を動的にプロファイリングする新しいフレームワークを提案する。 NeurELAは、マルチタスクの神経進化戦略を用いて、様々なMetaBBOアルゴリズム上で事前訓練されている。
  論文  参考訳（メタデータ） (2024-08-20T09:17:11Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design [54.39859618450935]
  メタ学習型更新ルールは,広範囲のRLタスクで良好に機能するアルゴリズムの発見を期待して,実現可能であることを示す。 Learned Policy Gradient (LPG)のようなアルゴリズムによる印象的な初期結果にもかかわらず、これらのアルゴリズムが目に見えない環境に適用される場合、まだギャップが残っている。 本研究では,メタ教師付き学習分布の特性が,これらのアルゴリズムの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-04T12:52:56Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [0.0]
  メタラーニングはラーニング・トゥ・ラーン(Learning-to-Lern)とも呼ばれる。 メタラーニング手法は,ブラックボックスメタラーニング,メトリックベースメタラーニング,階層型メタラーニング,ベイズ的メタラーニングフレームワークである。
  論文  参考訳（メタデータ） (2020-04-17T03:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。