論文の概要: Decentralized scheduling through an adaptive, trading-based multi-agent
system
- arxiv url: http://arxiv.org/abs/2207.11172v1
- Date: Tue, 5 Jul 2022 13:50:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-31 14:43:48.567385
- Title: Decentralized scheduling through an adaptive, trading-based multi-agent
system
- Title（参考訳）: 適応型取引型マルチエージェントシステムによる分散スケジューリング
- Authors: Michael K\"olle, Lennart Rietdorf, Kyrill Schmid
- Abstract要約: 多エージェント強化学習システムでは、あるエージェントの動作が他のエージェントの報酬に悪影響を及ぼす可能性がある。
この作業は、エージェントが入ってくるジョブをコアに割り当てる責任を負うシミュレーションスケジューリング環境に、トレーディングアプローチを適用します。
エージェントは計算コアの使用権を交換して、低優先度で低報酬のジョブよりも高速に、高利益のジョブを処理できる。
- 参考スコア（独自算出の注目度）: 1.7403133838762448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-agent reinforcement learning systems, the actions of one agent can
have a negative impact on the rewards of other agents. One way to combat this
problem is to let agents trade their rewards amongst each other. Motivated by
this, this work applies a trading approach to a simulated scheduling
environment, where the agents are responsible for the assignment of incoming
jobs to compute cores. In this environment, reinforcement learning agents learn
to trade successfully. The agents can trade the usage right of computational
cores to process high-priority, high-reward jobs faster than low-priority,
low-reward jobs. However, due to combinatorial effects, the action and
observation spaces of a simple reinforcement learning agent in this environment
scale exponentially with key parameters of the problem size. However, the
exponential scaling behavior can be transformed into a linear one if the agent
is split into several independent sub-units. We further improve this
distributed architecture using agent-internal parameter sharing. Moreover, it
can be extended to set the exchange prices autonomously. We show that in our
scheduling environment, the advantages of a distributed agent architecture
clearly outweigh more aggregated approaches. We demonstrate that the
distributed agent architecture becomes even more performant using
agent-internal parameter sharing. Finally, we investigate how two different
reward functions affect autonomous pricing and the corresponding scheduling.
- Abstract（参考訳）: 多エージェント強化学習システムでは、あるエージェントのアクションが他のエージェントの報酬に悪影響を及ぼす可能性がある。
この問題に対処する一つの方法は、エージェントが互いに報酬を交換することです。
このことに動機づけられたこの研究は、エージェントが計算コアへの入ってくるジョブの割り当てに責任を持つシミュレートされたスケジューリング環境にトレーディングアプローチを適用する。
この環境では、強化学習エージェントはうまく取引することを学ぶ。
エージェントは計算コアの使用権を交換して、低優先度で低報酬のジョブよりも早く、高利益のジョブを処理できる。
しかし、組合せ効果により、この環境における単純な強化学習エージェントの動作と観察空間は、問題サイズの重要なパラメータと指数関数的にスケールする。
しかし、指数的スケーリングの振る舞いは、エージェントが複数の独立したサブユニットに分割された場合に線形に変換できる。
我々はエージェント-内部パラメータ共有を用いて分散アーキテクチャをさらに改善する。
さらに、取引価格を自律的に設定できるように拡張することもできる。
スケジューリング環境では、分散エージェントアーキテクチャの利点が、より集約されたアプローチよりも明らかに優れていることを示す。
エージェント-内部パラメータ共有を用いて分散エージェントアーキテクチャがさらに高性能になることを示す。
最後に、2つの報酬関数が自律価格と対応するスケジューリングに与える影響について検討する。
関連論文リスト
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - Strategic Classification With Externalities [11.36782598786846]
戦略分類問題の新しい変種を提案する。
実世界のアプリケーションによって動機づけられた我々のモデルは、あるエージェントの操作が他のエージェントに影響を与えることを決定的に許している。
特定の仮定の下では、このエージェント操作ゲームの純粋なナッシュ平衡はユニークであり、効率的に計算できることが示される。
論文 参考訳（メタデータ） (2024-10-10T15:28:04Z) - AgentVerse: Facilitating Multi-Agent Collaboration and Exploring
Emergent Behaviors [93.38830440346783]
本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。
実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。
これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
論文 参考訳（メタデータ） (2023-08-21T16:47:11Z) - Learning Individual Policies in Large Multi-agent Systems through Local
Variance Minimization [8.140037969280716]
多くのエージェントを持つマルチエージェントシステムでは、各エージェントの他のエージェントの価値への貢献は最小限である。
エージェントの値の分散を最小限に抑える新しいマルチエージェント強化学習(MARL)機構を提案する。
提案手法は, タクシー運転手の収益のばらつきを低減しつつ, 先行するアプローチよりも高いジョイント収益を提供できることを示す。
論文 参考訳（メタデータ） (2022-12-27T06:59:00Z) - Explaining Reinforcement Learning Policies through Counterfactual
Trajectories [147.7246109100945]
人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。
本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。
本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
論文 参考訳（メタデータ） (2022-01-29T00:52:37Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Interactive Inverse Reinforcement Learning for Cooperative Games [7.257751371276486]
我々は、潜在的に最適でないパートナーと効果的に協力することを学ぶことができるAIエージェントを設計する問題について研究する。
この問題は、協調的な2エージェントのマルコフ決定プロセスとしてモデル化されている。
学習者の方針が遷移関数に有意な影響を及ぼす場合、報酬関数を効率的に学習できることが示される。
論文 参考訳（メタデータ） (2021-11-08T18:24:52Z) - BGC: Multi-Agent Group Belief with Graph Clustering [1.9949730506194252]
エージェントがコミュニケーションなしで情報を交換できる半通信方式を提案する。
近接するエージェントを小さなグループに分割し,グループ内のエージェントの信念を最小化するグループベースのモジュールを提案する。
その結果,提案手法はSMACベンチマークの大幅な改善を実現していることがわかった。
論文 参考訳（メタデータ） (2020-08-20T07:07:20Z) - Randomized Entity-wise Factorization for Multi-Agent Reinforcement
Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。
我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文 参考訳（メタデータ） (2020-06-07T18:28:41Z) - Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution
Communication [5.5438676149999075]
本稿では,エージェントが協調してシステムの有用性を最大化する,完全協調型マルチエージェントシステムについて考察する。
マルチエージェントシステムには,エージェント間の相互作用を伝達し,理解する能力が必要である。
エージェント間の通信を可能にするアーキテクチャを開発し,各エージェントに対するシステム報酬を調整する。
論文 参考訳（メタデータ） (2020-04-01T14:36:13Z) - Scalable Multi-Agent Inverse Reinforcement Learning via
Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。
本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-24T20:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。