論文の概要: Deep Reinforcement Learning for Dynamic Algorithm Selection: A
Proof-of-Principle Study on Differential Evolution
- arxiv url: http://arxiv.org/abs/2403.02131v3
- Date: Thu, 7 Mar 2024 09:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:38:19.048731
- Title: Deep Reinforcement Learning for Dynamic Algorithm Selection: A
Proof-of-Principle Study on Differential Evolution
- Title（参考訳）: 動的アルゴリズム選択のための深層強化学習:微分進化の原理実証研究
- Authors: Hongshu Guo, Yining Ma, Zeyuan Ma, Jiacheng Chen, Xinglin Zhang,
Zhiguang Cao, Jun Zhang, Yue-Jiao Gong
- Abstract要約: 本稿では,この課題を実現するための強化学習に基づく動的アルゴリズム選択フレームワークを提案する。
我々は、最適な動作を推測し、アルゴリズムの選択を確実にするために、洗練されたディープニューラルネットワークモデルを用いる。
基礎研究として、この枠組みを微分進化アルゴリズム群に適用する。
- 参考スコア（独自算出の注目度）: 27.607740475924448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evolutionary algorithms, such as Differential Evolution, excel in solving
real-parameter optimization challenges. However, the effectiveness of a single
algorithm varies across different problem instances, necessitating considerable
efforts in algorithm selection or configuration. This paper aims to address the
limitation by leveraging the complementary strengths of a group of algorithms
and dynamically scheduling them throughout the optimization progress for
specific problems. We propose a deep reinforcement learning-based dynamic
algorithm selection framework to accomplish this task. Our approach models the
dynamic algorithm selection a Markov Decision Process, training an agent in a
policy gradient manner to select the most suitable algorithm according to the
features observed during the optimization process. To empower the agent with
the necessary information, our framework incorporates a thoughtful design of
landscape and algorithmic features. Meanwhile, we employ a sophisticated deep
neural network model to infer the optimal action, ensuring informed algorithm
selections. Additionally, an algorithm context restoration mechanism is
embedded to facilitate smooth switching among different algorithms. These
mechanisms together enable our framework to seamlessly select and switch
algorithms in a dynamic online fashion. Notably, the proposed framework is
simple and generic, offering potential improvements across a broad spectrum of
evolutionary algorithms. As a proof-of-principle study, we apply this framework
to a group of Differential Evolution algorithms. The experimental results
showcase the remarkable effectiveness of the proposed framework, not only
enhancing the overall optimization performance but also demonstrating favorable
generalization ability across different problem classes.
- Abstract（参考訳）: 微分進化のような進化的アルゴリズムは、実パラメータ最適化の課題を解決するのに優れている。
しかし、1つのアルゴリズムの有効性は異なる問題インスタンスによって異なり、アルゴリズムの選択や構成にかなりの労力を要する。
本稿では,アルゴリズム群を補完する強みを生かし,特定の問題に対する最適化の進捗を動的にスケジューリングすることで,その限界に対処することを目的とする。
この課題を達成するために,深層強化学習に基づく動的アルゴリズム選択フレームワークを提案する。
提案手法は,マルコフ決定プロセスを選択する動的アルゴリズムをモデル化し,最適化過程で観察された特徴に応じて最適なアルゴリズムを選択するために,エージェントをポリシー勾配に訓練する。
エージェントに必要な情報を与えるため,我々のフレームワークはランドスケープとアルゴリズム的特徴の思慮深い設計を取り入れている。
一方,高度な深層ニューラルネットワークモデルを用いて最適動作を推定し,アルゴリズム選択のインフォームドを保証する。
さらに、異なるアルゴリズム間のスムーズな切り替えを容易にするために、アルゴリズムコンテキスト復元機構が組み込まれている。
これらのメカニズムを組み合わせることで、動的オンライン方式でアルゴリズムをシームレスに選択および切り替えすることが可能になります。
特に、提案されたフレームワークは単純で汎用的であり、幅広い進化的アルゴリズムにまたがる潜在的な改善を提供する。
原理実証研究として,この枠組みを微分進化アルゴリズム群に適用する。
実験結果は,最適化性能を向上するだけでなく,様々な問題クラスにまたがる優れた一般化能力を示すとともに,提案フレームワークの顕著な有効性を示した。
関連論文リスト
- A Survey of Meta-features Used for Automated Selection of Algorithms for Black-box Single-objective Continuous Optimization [4.173197621837912]
単目的連続ブラックボックス最適化の分野におけるアルゴリズム選択への重要な貢献について概説する。
自動アルゴリズム選択、構成、性能予測のための機械学習モデルについて検討する。
論文 参考訳（メタデータ） (2024-06-08T11:11:14Z) - The Algorithm Configuration Problem [0.8075866265341176]
本稿では、決定/最適化問題の特定事例を解決するためのパラメータ化アルゴリズムの最適化に焦点を当てる。
本稿では,アルゴリズム構成問題の定式化だけでなく,その解決のための様々なアプローチを概説する包括的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-01T17:29:34Z) - Stochastic Ratios Tracking Algorithm for Large Scale Machine Learning
Problems [0.7614628596146599]
古典的なSGDフレームワークにおける適応的なステップ長選択のための新しいアルゴリズムを提案する。
妥当な条件下では、アルゴリズムは十分に確立された理論的な要件に従ってステップ長を生成する。
このアルゴリズムは,手動チューニングから得られる最良ステップ長に匹敵するステップ長を生成することができることを示す。
論文 参考訳（メタデータ） (2023-05-17T06:22:11Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Socio-cognitive Optimization of Time-delay Control Problems using
Evolutionary Metaheuristics [89.24951036534168]
メタヒューリスティックス(Metaheuristics)は、古典的なアプローチでは解決できない難解な問題を解くために使用される普遍的な最適化アルゴリズムである。
本稿では,キャストに基づく新しい社会認知メタヒューリスティックの構築を目標とし,このアルゴリズムのいくつかのバージョンを時間遅延システムモデルの最適化に適用する。
論文 参考訳（メタデータ） (2022-10-23T22:21:10Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Algorithm Selection on a Meta Level [58.720142291102135]
本稿では,与えられたアルゴリズムセレクタの組み合わせに最適な方法を求めるメタアルゴリズム選択の問題を紹介する。
本稿では,メタアルゴリズム選択のための一般的な方法論フレームワークと,このフレームワークのインスタンス化として具体的な学習手法を提案する。
論文 参考訳（メタデータ） (2021-07-20T11:23:21Z) - Identifying Co-Adaptation of Algorithmic and Implementational
Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of
Inference-based Algorithms [15.338931971492288]
我々は、アルゴリズムの革新と実装決定を分離するために、一連の推論に基づくアクター批判アルゴリズムに焦点を当てる。
実装の詳細がアルゴリズムの選択に一致すると、パフォーマンスが大幅に低下します。
結果は、どの実装の詳細がアルゴリズムと共適応され、共進化しているかを示す。
論文 参考訳（メタデータ） (2021-03-31T17:55:20Z) - Leveraging Benchmarking Data for Informed One-Shot Dynamic Algorithm
Selection [0.9281671380673306]
進化的アルゴリズムの適用における重要な課題は、目の前の問題に最も適したアルゴリズムインスタンスの選択である。
本研究では, 疑似ブール最適化問題の解法として, このような先行性能データを用いて, 動的アルゴリズム選択スキームを推論する方法について分析する。
論文 参考訳（メタデータ） (2021-02-12T12:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。