論文の概要: Multi-agent Dynamic Algorithm Configuration
- arxiv url: http://arxiv.org/abs/2210.06835v1
- Date: Thu, 13 Oct 2022 08:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 13:55:11.100852
- Title: Multi-agent Dynamic Algorithm Configuration
- Title（参考訳）: マルチエージェント動的アルゴリズムの構成
- Authors: Ke Xue, Jiacheng Xu, Lei Yuan, Miqing Li, Chao Qian, Zongzhang Zhang,
Yang Yu
- Abstract要約: 自動アルゴリズム構成により、ユーザは面倒で試行錯誤的なチューニングタスクを省くことができる。
本稿では,複雑なアルゴリズムのためのマルチエージェントDAC(MA-DAC)を提案する。
我々は,MA-DACが他の構成調整手法と比較して優れた性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 29.065510165544865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated algorithm configuration relieves users from tedious,
trial-and-error tuning tasks. A popular algorithm configuration tuning paradigm
is dynamic algorithm configuration (DAC), in which an agent learns dynamic
configuration policies across instances by reinforcement learning (RL).
However, in many complex algorithms, there may exist different types of
configuration hyperparameters, and such heterogeneity may bring difficulties
for classic DAC which uses a single-agent RL policy. In this paper, we aim to
address this issue and propose multi-agent DAC (MA-DAC), with one agent working
for one type of configuration hyperparameter. MA-DAC formulates the dynamic
configuration of a complex algorithm with multiple types of hyperparameters as
a contextual multi-agent Markov decision process and solves it by a cooperative
multi-agent RL (MARL) algorithm. To instantiate, we apply MA-DAC to a
well-known optimization algorithm for multi-objective optimization problems.
Experimental results show the effectiveness of MA-DAC in not only achieving
superior performance compared with other configuration tuning approaches based
on heuristic rules, multi-armed bandits, and single-agent RL, but also being
capable of generalizing to different problem classes. Furthermore, we release
the environments in this paper as a benchmark for testing MARL algorithms, with
the hope of facilitating the application of MARL.
- Abstract（参考訳）: 自動アルゴリズム構成は、ユーザが面倒で試行錯誤的なチューニングタスクから解放する。
一般的なアルゴリズム構成チューニングパラダイムは動的アルゴリズム構成(DAC)であり、エージェントは強化学習(RL)によってインスタンス間の動的構成ポリシーを学習する。
しかし、多くの複雑なアルゴリズムでは、異なるタイプの構成ハイパーパラメータが存在し、そのような異質性は単一のエージェントRLポリシーを使用する古典的DACに困難をもたらす可能性がある。
本稿では,この問題に対処し,マルチエージェントDAC(MA-DAC)を提案する。
MA-DACは、複数種類のハイパーパラメータを持つ複素アルゴリズムの動的構成を文脈的マルチエージェントマルコフ決定プロセスとして定式化し、協調マルチエージェントRL(MARL)アルゴリズムでそれを解く。
多目的最適化問題に対するよく知られた最適化アルゴリズムにma-dacを適用する。
実験結果から,MA-DACはヒューリスティックルール,マルチアームバンディット,シングルエージェントRLに基づく他の構成チューニング手法に比べて優れた性能を達成できるだけでなく,異なる問題クラスに一般化できることがわかった。
さらに,本論文では,MARLアルゴリズムのベンチマークとして環境を公開し,MARLの適用を促進することを期待する。
関連論文リスト
- Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling [2.3034630097498883]
本研究は,強化学習環境を紹介し,実証分析を行う。
実験では、シングルエージェントとマルチエージェントアプローチにさまざまなディープニューラルネットワークポリシーを採用している。
シングルエージェントアルゴリズムは縮小シナリオにおいて適切に機能する一方、マルチエージェントアプローチは協調学習における課題を明らかにするが、スケーラブルな能力を示す。
論文 参考訳（メタデータ） (2024-11-12T08:27:27Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。
汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。
我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
論文 参考訳（メタデータ） (2023-10-10T01:39:04Z) - Using Automated Algorithm Configuration for Parameter Control [0.7742297876120562]
動的アルゴリズム構成(DAC)は、データ駆動方式でアルゴリズムのパラメータを制御するためのポリシーを自動的に学習する方法の問題に取り組む。
我々は,OneMax問題を解くために,$(lambda,lambda)$Genetic Algorithmにおけるキーパラメータ$lambda$の制御を行う新しいDACベンチマークを提案する。
我々のアプローチは、十分に大きな問題サイズに関する以前の理論的研究から得られたベンチマークのデフォルトパラメータ制御ポリシーを一貫して上回ることができる。
論文 参考訳（メタデータ） (2023-02-23T20:57:47Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳（メタデータ） (2022-11-29T17:10:24Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - A Simple Evolutionary Algorithm for Multi-modal Multi-objective
Optimization [0.0]
マルチモーダル・多目的最適化問題(MMOP)を解くための定常進化アルゴリズムを提案する。
本報告では,1000関数評価の低計算予算を用いて,様々なテストスイートから得られた21個のMMOPの性能について報告する。
論文 参考訳（メタデータ） (2022-01-18T03:31:11Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Towards Automatic Actor-Critic Solutions to Continuous Control [7.312692481631664]
本稿では,アクター批判アルゴリズムを新しいドメインにチューニングする進化的アプローチを提案する。
私たちの設計は、サンプル効率が高く、ベースラインアプローチよりも実用的な利点を提供します。
次に、計算と研究の最小限の労力で高性能なソリューションを見つけるために、新しい制御タスクに適用する。
論文 参考訳（メタデータ） (2021-06-16T16:18:20Z) - Ensemble Feature Extraction for Multi-Container Quality-Diversity
Algorithms [0.2741266294612775]
品質多様性アルゴリズムは多種多様な高性能なソリューションのコレクションを探索する。
MC-AURORA(Quality-Diversity approach)について述べる。
このアプローチは、単一表現アプローチによって生成されるソリューションよりも、より多様なソリューションを生成することを示す。
論文 参考訳（メタデータ） (2021-05-03T08:35:00Z) - Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。
我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-29T09:40:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。