論文の概要: EvoGrad: Metaheuristics in a Differentiable Wonderland

• arxiv url: http://arxiv.org/abs/2506.06320v1
• Date: Wed, 28 May 2025 15:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 03:13:19.054173
• Title: EvoGrad: Metaheuristics in a Differentiable Wonderland
• Title（参考訳）: EvoGrad: 微分可能なワンダーランドにおけるメタヒューリスティックス
• Authors: Beatrice F. R. Citterio, Andrea Tangherloni,
• Abstract要約: 微分プログラミングは、複雑なモデルの効率的な勾配に基づくトレーニングを可能にすることで最適化に革命をもたらした。 EvoGradは、ECとSIをグラデーションベースの最適化と統合した、統一的な差別化可能なフレームワークである。 以上の結果から,完全微分可能な進化最適化とスワム最適化の実質的なメリットが示された。
• 参考スコア（独自算出の注目度）: 1.065497990128313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable programming has revolutionised optimisation by enabling efficient gradient-based training of complex models, such as Deep Neural Networks (NNs) with billions and trillions of parameters. However, traditional Evolutionary Computation (EC) and Swarm Intelligence (SI) algorithms, widely successful in discrete or complex search spaces, typically do not leverage local gradient information, limiting their optimisation efficiency. In this paper, we introduce EvoGrad, a unified differentiable framework that integrates EC and SI with gradient-based optimisation through backpropagation. EvoGrad converts conventional evolutionary and swarm operators (e.g., selection, mutation, crossover, and particle updates) into differentiable operators, facilitating end-to-end gradient optimisation. Extensive experiments on benchmark optimisation functions and training of small NN regressors reveal that our differentiable versions of EC and SI metaheuristics consistently outperform traditional, gradient-agnostic algorithms in most scenarios. Our results show the substantial benefits of fully differentiable evolutionary and swarm optimisation, setting a new standard for hybrid optimisation frameworks.
• Abstract（参考訳）: 微分プログラミングは、数十億のパラメータを持つディープニューラルネットワーク(NN)のような複雑なモデルの効率的な勾配ベースのトレーニングを可能にすることで、最適化に革命をもたらした。 しかし、従来の進化的計算(EC)とSwarm Intelligence(SI)アルゴリズムは、離散的または複雑な検索空間で広く成功し、通常、局所勾配情報を利用せず、最適化効率を制限している。 本稿では、ECとSIを統合し、バックプロパゲーションによる勾配に基づく最適化を行う統合微分可能なフレームワークであるEvoGradを紹介する。 EvoGradは、従来の進化的および群演算子(例えば、選択、突然変異、交叉、粒子更新)を微分可能演算子に変換し、エンドツーエンドの勾配最適化を容易にする。 ベンチマーク最適化関数と小さなNN回帰器のトレーニングに関する大規模な実験により、ECとSIメタヒューリスティックスの差別化可能なバージョンは、ほとんどのシナリオにおいて従来の勾配に依存しないアルゴリズムを一貫して上回っていることが判明した。 以上の結果から,完全微分可能な進化最適化と群最適化の実質的なメリットが示され,ハイブリッド最適化フレームワークの新たな標準が確立された。

関連論文リスト

• Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks [2.932254642052481]
  様々な適応アルゴリズムの機構を組み合わせたフランケンシュタインを提案する。 コンピュータビジョン、自然言語処理、少数ショット学習、科学シミュレーションの実験は、フランケンシュタインが既存の適応アルゴリズムと勾配降下(SGD)を超えたことを示している。 本研究では,学習過程におけるカーネルアライメント解析とロスランドスケープの可視化を通じて,適応アルゴリズムの理解を深める。
  論文  参考訳（メタデータ） (2025-03-04T00:25:54Z)
• Quantum Time-Series Learning with Evolutionary Algorithms [0.0]
  変分量子回路は量子コンピューティングにおいて重要な方法である。 本稿では,このような最適化のための進化的アルゴリズムの利用,特に時系列予測について検討する。
  論文  参考訳（メタデータ） (2024-12-23T13:53:35Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Accelerating the Evolutionary Algorithms by Gaussian Process Regression with $\epsilon$-greedy acquisition function [2.7716102039510564]
  本稿では,最適化の収束を早めるために,エリート個人を推定する新しい手法を提案する。 我々の提案には、エリート個人を推定し、最適化の収束を加速する幅広い見通しがある。
  論文  参考訳（メタデータ） (2022-10-13T07:56:47Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
  EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。 これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。 その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
  論文  参考訳（メタデータ） (2020-07-09T10:19:22Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。