論文の概要: Principal-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.18074v1
• Date: Thu, 25 Jul 2024 14:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:49:09.680622
• Title: Principal-Agent Reinforcement Learning
• Title（参考訳）: 主エージェント強化学習
• Authors: Dima Ivanov, Paul Dütting, Inbal Talgam-Cohen, Tonghan Wang, David C. Parkes,
• Abstract要約: 契約は、プリンシパルがエージェントにタスクを委譲することを可能にする経済的な枠組みである。 多くの近代的な強化学習環境において、自己関心のあるエージェントは、プリンシパルによって委譲された多段階的なタスクを実行することを学習する。 そこで本研究では,プリンシパルが使用する契約を学習し,エージェントがMDPポリシーを学習する,プリンシパルとエージェントのゲームについて検討する。
• 参考スコア（独自算出の注目度）: 20.8288955218712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contracts are the economic framework which allows a principal to delegate a task to an agent -- despite misaligned interests, and even without directly observing the agent's actions. In many modern reinforcement learning settings, self-interested agents learn to perform a multi-stage task delegated to them by a principal. We explore the significant potential of utilizing contracts to incentivize the agents. We model the delegated task as an MDP, and study a stochastic game between the principal and agent where the principal learns what contracts to use, and the agent learns an MDP policy in response. We present a learning-based algorithm for optimizing the principal's contracts, which provably converges to the subgame-perfect equilibrium of the principal-agent game. A deep RL implementation allows us to apply our method to very large MDPs with unknown transition dynamics. We extend our approach to multiple agents, and demonstrate its relevance to resolving a canonical sequential social dilemma with minimal intervention to agent rewards.
• Abstract（参考訳）: 契約は、代理人の行動を直接観察することなく、不一致の利益にもかかわらず、首長がエージェントにタスクを委譲することを可能にする経済的な枠組みである。 多くの近代的な強化学習環境において、自己関心のあるエージェントは、プリンシパルによって委譲された多段階的なタスクを実行することを学習する。 我々は、契約を利用してエージェントにインセンティブを与える大きな可能性を探求する。 我々は、委任されたタスクをMDPとしてモデル化し、プリンシパルとエージェントの間の確率ゲームにおいて、プリンシパルが使用するコントラクトを学習し、エージェントが応答してMDPポリシーを学習する。 本稿では,プリンシパル・エージェント・ゲームのサブゲーム完全均衡に確実に収束する,プリンシパルの契約を最適化するための学習に基づくアルゴリズムを提案する。 より深いRL実装により、未知の遷移ダイナミクスを持つ非常に大きなMDPにメソッドを適用することができる。 我々は、複数のエージェントへのアプローチを拡張し、エージェント報酬に対する最小の介入で、正統的な社会的ジレンマを解決することとの関連性を実証する。

関連論文リスト

• Multi-Agent Reinforcement Learning with a Hierarchy of Reward Machines [5.600971575680638]
  Reward Machines (RMs) を用いた協調型マルチエージェント強化学習(MARL)問題の検討 より複雑なシナリオを扱えるRM(MAHRM)階層のマルチエージェント強化学習を提案する。 3つの協調MARLドメインの実験結果から、MAHRMは、他のMARLメソッドよりも高いレベルの事象の事前知識の方が優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-08T06:38:22Z)
• Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent Deep Reinforcement Learning [0.0]
  本稿では,エージェントが一括して斬新な行動を示すような報奨戦略を提案する。 ジムは連続した環境で機能するように設計されたノベルティの集中的な尺度に基づいて共同軌道に報いる。 その結果、最適戦略が高レベルの調整を必要とするタスクの解決には、共同探索が不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T13:02:00Z)
• Principal-Agent Reward Shaping in MDPs [50.914110302917756]
  主要な問題とは、ある政党が他の政党に代わって行動し、利害対立を引き起こすことである。 本研究では,主役とエージェントが異なる報酬関数を持つ2人プレイのスタックゲームについて検討し,エージェントは両プレイヤーに対してMDPポリシーを選択する。 この結果は,有限の地平線を持つ木と決定論的決定過程を確立した。
  論文  参考訳（メタデータ） (2023-12-30T18:30:44Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Estimating and Incentivizing Imperfect-Knowledge Agents with Hidden Rewards [4.742123770879715]
  実際には、インセンティブ提供者はインセンティブ付きエージェントの報酬実現を観察できないことが多い。 本稿では,自己関心学習エージェントと学習プリンシパルの繰り返し選択ゲームについて検討する。 我々は,プリンシパルのインセンティブとエージェントの選択履歴のみを入力とする推定器を導入する。
  論文  参考訳（メタデータ） (2023-08-13T08:12:01Z)
• MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
  本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。 これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。 モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
  論文  参考訳（メタデータ） (2023-04-10T15:44:50Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。