論文の概要: Discovering Attention-Based Genetic Algorithms via Meta-Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2304.03995v1
• Date: Sat, 8 Apr 2023 12:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 18:24:09.188831
• Title: Discovering Attention-Based Genetic Algorithms via Meta-Black-Box Optimization
• Title（参考訳）: メタブラックボックス最適化による注意に基づく遺伝的アルゴリズムの発見
• Authors: Robert Tjarko Lange, Tom Schaul, Yutian Chen, Chris Lu, Tom Zahavy, Valentin Dalibard, Sebastian Flennerhag
• Abstract要約: 全く新しい遺伝的アルゴリズムをデータ駆動方式で発見する。 我々は、選択と突然変異率の適応をクロスアテンションモジュールおよびセルフアテンションモジュールとしてパラメトリズする。 学習アルゴリズムは、未確認の最適化問題、探索次元、評価予算に適用できる。
• 参考スコア（独自算出の注目度）: 13.131971623143622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Genetic algorithms constitute a family of black-box optimization algorithms, which take inspiration from the principles of biological evolution. While they provide a general-purpose tool for optimization, their particular instantiations can be heuristic and motivated by loose biological intuition. In this work we explore a fundamentally different approach: Given a sufficiently flexible parametrization of the genetic operators, we discover entirely new genetic algorithms in a data-driven fashion. More specifically, we parametrize selection and mutation rate adaptation as cross- and self-attention modules and use Meta-Black-Box-Optimization to evolve their parameters on a set of diverse optimization tasks. The resulting Learned Genetic Algorithm outperforms state-of-the-art adaptive baseline genetic algorithms and generalizes far beyond its meta-training settings. The learned algorithm can be applied to previously unseen optimization problems, search dimensions & evaluation budgets. We conduct extensive analysis of the discovered operators and provide ablation experiments, which highlight the benefits of flexible module parametrization and the ability to transfer (`plug-in') the learned operators to conventional genetic algorithms.
• Abstract（参考訳）: 遺伝的アルゴリズムは、生物学的進化の原理から着想を得たブラックボックス最適化アルゴリズムのファミリーを構成する。 最適化のための汎用ツールを提供する一方で、それらの特定のインスタンス化は、ゆるい生物学的直観によってヒューリスティックで動機づけられる。 遺伝的演算子の十分なフレキシブルなパラメトリゼーションを条件に、データ駆動方式で全く新しい遺伝的アルゴリズムを発見します。 具体的には、選択と突然変異率の適応をクロスアテンションモジュールおよび自己アテンションモジュールとしてパラメトリズし、メタブラックボックス最適化を用いてパラメータを様々な最適化タスクで進化させる。 結果として得られたLearted Genetic Algorithmは、最先端の適応型ベースライン遺伝的アルゴリズムより優れ、メタトレーニング設定を超えて一般化される。 学習アルゴリズムは、未発見の最適化問題、探索次元および評価予算に適用することができる。 得られた演算子の広範な解析とアブレーション実験を行い,フレキシブルモジュールパラメトリゼーションの利点と,学習した演算子を従来の遺伝的アルゴリズムに(プラグイン)転送する能力を強調した。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Genetic Engineering Algorithm (GEA): An Efficient Metaheuristic Algorithm for Solving Combinatorial Optimization Problems [1.8434042562191815]
  遺伝的アルゴリズム(GA)は最適化問題の解法における効率性で知られている。 本稿では遺伝子工学の概念からインスピレーションを得るため,遺伝子工学アルゴリズム(GEA)と呼ばれる新しいメタヒューリスティックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-28T13:05:30Z)
• The FAIRy Tale of Genetic Algorithms [1.0957528713294875]
  Findable、Accessible、Interoperable、Reusable(FAIR)のデータ原則を拡張して、アルゴリズムの遺伝的および再使用を可能にしました。 我々は,GAの方法論的展開と変種について概説し,適切なソースの再現や発見を困難にしている。 この作業は、多数の機械学習アルゴリズム/メソッドに拡張することができる。
  論文  参考訳（メタデータ） (2023-04-29T11:36:09Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Towards the optimization of ballistics in proton therapy using genetic algorithms: implementation issues [0.0]
  遺伝的アルゴリズムに基づく新しい最適化フレームワークについて検討する。 提案された最適化ルーチンは典型的には、数千の固定サイズのスポットを考慮に入れている。 提案する遺伝的アルゴリズムの挙動は, 基礎的, 臨床的に有意なテストケースで示される。
  論文  参考訳（メタデータ） (2022-05-17T12:31:14Z)
• Applications of Gaussian Mutation for Self Adaptation in Evolutionary Genetic Algorithms [0.0]
  1960年、ジョン・H・ホランドとその学生によって最初の遺伝的アルゴリズムが開発された。 本稿では,ガウス突然変異を応用した遺伝的アルゴリズムの数学的直観について検討する。
  論文  参考訳（メタデータ） (2022-01-02T04:18:25Z)
• Improving RNA Secondary Structure Design using Deep Reinforcement Learning [69.63971634605797]
  本稿では,RNA配列設計に強化学習を適用した新しいベンチマークを提案する。このベンチマークでは,目的関数を配列の二次構造における自由エネルギーとして定義する。 本稿では,これらのアルゴリズムに対して行うアブレーション解析の結果と,バッチ間でのアルゴリズムの性能を示すグラフを示す。
  論文  参考訳（メタデータ） (2021-11-05T02:54:06Z)
• Result Diversification by Multi-objective Evolutionary Algorithms with Theoretical Guarantees [94.72461292387146]
  両目的探索問題として結果の多様化問題を再構成し,多目的進化アルゴリズム(EA)を用いて解くことを提案する。 GSEMOが最適時間近似比1/2$を達成できることを理論的に証明する。 目的関数が動的に変化すると、GSEMOはこの近似比をランニングタイムで維持することができ、Borodinらによって提案されたオープンな問題に対処する。
  論文  参考訳（メタデータ） (2021-10-18T14:00:22Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)
• Genetic optimization algorithms applied toward mission computability models [0.3655021726150368]
  遺伝的アルゴリズムは計算ベースであり、計算に低コストである。 遺伝的最適化アルゴリズムをミッションクリティカルかつ制約対応の問題に記述する。
  論文  参考訳（メタデータ） (2020-05-27T00:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。