論文の概要: The Benefits of Power Regularization in Cooperative Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.11240v1
- Date: Mon, 17 Jun 2024 06:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 18:14:15.049571
- Title: The Benefits of Power Regularization in Cooperative Reinforcement Learning
- Title（参考訳）: 協調強化学習における電力正規化のメリット
- Authors: Michelle Li, Michael Dennis,
- Abstract要約: 我々は、協調RLシステムにおける電力集中を明示的に規則化すると、単一のエージェントの故障に対してより堅牢なシステムが得られると主張している。
我々は,このパワーレギュラー化目標に向けて,SBPR(Sample Based Power Regularization)とPRIM(Intrinsic Motivation)によるパワーレギュラー化(Power Regularization)の2つのアルゴリズムを提案する。
実験の結果、両アルゴリズムがタスク報酬とパワーのバランスをとっており、パワーの低下と破滅的な事象の回避に繋がることがわかった。
- 参考スコア（独自算出の注目度）: 5.141502818619855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cooperative Multi-Agent Reinforcement Learning (MARL) algorithms, trained only to optimize task reward, can lead to a concentration of power where the failure or adversarial intent of a single agent could decimate the reward of every agent in the system. In the context of teams of people, it is often useful to explicitly consider how power is distributed to ensure no person becomes a single point of failure. Here, we argue that explicitly regularizing the concentration of power in cooperative RL systems can result in systems which are more robust to single agent failure, adversarial attacks, and incentive changes of co-players. To this end, we define a practical pairwise measure of power that captures the ability of any co-player to influence the ego agent's reward, and then propose a power-regularized objective which balances task reward and power concentration. Given this new objective, we show that there always exists an equilibrium where every agent is playing a power-regularized best-response balancing power and task reward. Moreover, we present two algorithms for training agents towards this power-regularized objective: Sample Based Power Regularization (SBPR), which injects adversarial data during training; and Power Regularization via Intrinsic Motivation (PRIM), which adds an intrinsic motivation to regulate power to the training objective. Our experiments demonstrate that both algorithms successfully balance task reward and power, leading to lower power behavior than the baseline of task-only reward and avoid catastrophic events in case an agent in the system goes off-policy.
- Abstract（参考訳）: MARL(Cooperative Multi-Agent Reinforcement Learning)アルゴリズムは、タスク報酬を最適化するためにのみ訓練され、単一のエージェントの障害や敵意がシステム内のすべてのエージェントの報酬を解読する力の集中につながる。
チームの状況では、人が単一障害点になっていないことを保証するために、力がどのように分散されているかを明確に考えるのが有用です。
ここでは、協調RLシステムにおける力の集中を明示的に調整することは、単一エージェントの故障、敵攻撃、コプレイヤーのインセンティブ変化に対してより堅牢なシステムをもたらすと論じる。
そこで本稿では,エゴエージェントの報酬に影響を及ぼすコプレーヤの能力を把握し,タスク報酬とパワー集中のバランスをとるための,パワーレギュラー化された目標を提案する。
この新たな目的を前提として、全てのエージェントが最適応答バランスのパワーとタスク報酬を発揮できる均衡が存在することを示す。
さらに、このパワーレギュラー化目標に向けて、トレーニング中に敵対データを注入するサンプルベースパワーレギュラー化(SBPR)と、本質的なモチベーションによるパワーレギュラー化(PRIM)の2つのアルゴリズムを提案する。
我々の実験は,両アルゴリズムがタスク報酬とパワーのバランスをとることに成功し,タスクのみの報酬のベースラインよりも低消費電力化を実現し,システム内のエージェントが非政治状態になった場合の破滅的な出来事を回避することを実証した。
関連論文リスト
- Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits
with Strategic Agents [57.627352949446625]
マルチアームバンディット問題の変種を考察する。
具体的には、武器は、報酬を改善したり、吸収したりできる戦略的なエージェントである。
我々は、プロパティの集合を満たすMABアルゴリズムのクラスを特定し、それらが平衡におけるトップレベルのパフォーマンスを刺激するメカニズムをもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-13T06:54:49Z) - Power-seeking can be probable and predictive for trained agents [3.616948583169635]
パワーセーキング行動は、先進的なAIによるリスクの主な原因である。
トレーニングプロセスがパワーセーキングインセンティブにどのように影響するかを検討する。
電力需要のインセンティブは予測可能であり,予測可能であることを示す。
論文 参考訳（メタデータ） (2023-04-13T13:29:01Z) - ELIGN: Expectation Alignment as a Multi-Agent Intrinsic Reward [29.737986509769808]
本稿では,自己監督型固有報酬ELIGN-期待アライメントを提案する。
動物が周囲の動物と分散的に協力するのと同じように、期待アライメントで訓練されたエージェントは、隣人の期待に合う行動を学ぶ。
エージェント・コーディネーションは、エージェントがタスクを個別に分割し、コーディネーション・対称性を破り、敵を混乱させ、予測アライメントを通じて改善することを示す。
論文 参考訳（メタデータ） (2022-10-09T22:24:44Z) - Iterated Reasoning with Mutual Information in Cooperative and Byzantine
Decentralized Teaming [0.0]
我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。
我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
論文 参考訳（メタデータ） (2022-01-20T22:54:32Z) - Improving Robustness of Reinforcement Learning for Power System Control
with Adversarial Training [71.7750435554693]
電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。
具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。
本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
論文 参考訳（メタデータ） (2021-10-18T00:50:34Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:40Z) - DisCo RL: Distribution-Conditioned Reinforcement Learning for
General-Purpose Policies [116.12670064963625]
分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。
DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
論文 参考訳（メタデータ） (2021-04-23T16:51:58Z) - Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。
本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。
マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
論文 参考訳（メタデータ） (2020-07-03T23:08:14Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳（メタデータ） (2020-06-10T20:12:38Z) - Intrinsic Motivation for Encouraging Synergistic Behavior [55.10275467562764]
スパース・リワード・シナジスティック・タスクにおける強化学習の探索バイアスとしての本質的モチベーションの役割について検討した。
私たちのキーとなる考え方は、シナジスティックなタスクにおける本質的なモチベーションのための優れた指針は、エージェントが自分自身で行動している場合、達成できない方法で世界に影響を与える行動を取ることである。
論文 参考訳（メタデータ） (2020-02-12T19:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。