Fugu-MT 論文翻訳(概要): Exploring the Impact of Tunable Agents in Sequential Social Dilemmas

論文の概要: Exploring the Impact of Tunable Agents in Sequential Social Dilemmas

arxiv url: http://arxiv.org/abs/2101.11967v1
Date: Thu, 28 Jan 2021 12:44:31 GMT
ステータス: 処理完了
システム内更新日: 2021-01-31 18:10:57.501501
Title: Exploring the Impact of Tunable Agents in Sequential Social Dilemmas
Title（参考訳）: 逐次的社会的ジレンマにおけるチューナブルエージェントの効果の検討
Authors: David O'Callaghan and Patrick Mannion
Abstract要約: 我々は多目的強化学習を活用して調整可能なエージェントを作成する。この手法を逐次社会的ジレンマに適用する。調整可能なエージェント・フレームワークは協調行動と競争行動の容易な適応を可能にすることを実証する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: When developing reinforcement learning agents, the standard approach is to train an agent to converge to a fixed policy that is as close to optimal as possible for a single fixed reward function. If different agent behaviour is required in the future, an agent trained in this way must normally be either fully or partially retrained, wasting valuable time and resources. In this study, we leverage multi-objective reinforcement learning to create tunable agents, i.e. agents that can adopt a range of different behaviours according to the designer's preferences, without the need for retraining. We apply this technique to sequential social dilemmas, settings where there is inherent tension between individual and collective rationality. Learning a single fixed policy in such settings leaves one at a significant disadvantage if the opponents' strategies change after learning is complete. In our work, we demonstrate empirically that the tunable agents framework allows easy adaption between cooperative and competitive behaviours in sequential social dilemmas without the need for retraining, allowing a single trained agent model to be adjusted to cater for a wide range of behaviours and opponent strategies.
Abstract（参考訳）: 強化学習エージェントを開発する場合、標準的なアプローチは、単一の固定報酬関数に対して可能な限り最適な固定ポリシーに収束するようにエージェントを訓練することです。将来、異なるエージェントの振る舞いが必要な場合、この方法で訓練されたエージェントは通常、完全にまたは部分的に再訓練され、貴重な時間とリソースを浪費しなければならない。本研究では,多目的強化学習を活用し,調整可能なエージェントを創り出す。再トレーニングを必要とせずに、デザイナーの好みに応じてさまざまな振る舞いを適用できるエージェント。この手法を、個人と集団の合理性の間に固有の緊張がある一連の社会的ジレンマ、設定に適用する。このような設定で一つの固定ポリシーを学習すると、学習が完了すると相手の戦略が変わると大きな不利になる。本研究は, 調整可能なエージェント・フレームワークにより, 逐次的社会的ジレンマにおける協調行動と競争行動の適応が容易であり, トレーニングを必要とせず, 幅広い行動や対戦戦略に対応できるように, 単一の訓練されたエージェント・モデルを調整できることを実証的に実証した。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Role Play: Learning Adaptive Role-Specific Strategies in Multi-Agent Interactions [8.96091816092671]
emphRole Play (RP) という新しいフレームワークを提案する。 RPは、政策の多様性の課題を、より管理可能な役割の多様性に変えるために役割埋め込みを採用している。ロール埋め込み観察で共通の方針を訓練し、他のエージェントのジョイントロール埋め込みを推定するためにロール予測器を使用し、学習エージェントが割り当てられた役割に適応するのを助ける。
論文参考訳（メタデータ） (2024-11-02T07:25:48Z)
Contrastive learning-based agent modeling for deep reinforcement learning [31.293496061727932]
エージェントモデリングは、マルチエージェントシステムにおけるインテリジェントマシンエージェントの適応ポリシーを設計する際に必須である。我々は,エゴエージェントの訓練・実行時の局所的な観察のみに依存する,コントラスト学習に基づくエージェントモデリング(CLAM)手法を考案した。 CLAMは、各エピソードの冒頭から、リアルタイムに一貫した高品質なポリシー表現を生成することができる。
論文参考訳（メタデータ） (2023-12-30T03:44:12Z)
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents [120.91291581594773]
本稿では,予期せぬクラッシュを伴う協調型マルチエージェント強化学習システムの公式な定式化について述べる。本稿では,教師支援型多エージェント強化学習フレームワークを提案する。私たちの知る限りでは、この研究はマルチエージェントシステムにおける予期せぬクラッシュを初めて研究したものです。
論文参考訳（メタデータ） (2022-03-16T08:22:45Z)
Influencing Long-Term Behavior in Multiagent Reinforcement Learning [59.98329270954098]
時間的アプローチが無限に近づくと、他のエージェントの制限ポリシーを考えるための原則的枠組みを提案する。具体的には、各エージェントの行動が他のエージェントが行うポリシーの制限セットに与える影響を直接考慮し、各エージェントの平均報酬を最大化する新しい最適化目標を開発する。我々の遠視評価により、様々な領域における最先端のベースラインよりも長期的性能が向上した。
論文参考訳（メタデータ） (2022-03-07T17:32:35Z)
Conditional Imitation Learning for Multi-Agent Games [89.897635970366]
本研究では,条件付きマルチエージェント模倣学習の課題について考察する。本稿では,スケーラビリティとデータ不足の難しさに対処する新しい手法を提案する。我々のモデルは,egoやパートナエージェント戦略よりも低ランクなサブスペースを学習し,サブスペースに補間することで,新たなパートナ戦略を推論し,適応する。
論文参考訳（メタデータ） (2022-01-05T04:40:13Z)
Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文参考訳（メタデータ） (2021-12-03T19:23:48Z)
DSDF: An approach to handle stochastic agents in collaborative multi-agent reinforcement learning [0.0]
ロボットの機能低下や老化によって引き起こされるエージェントの真偽が、協調の不確実性にどのように寄与するかを示す。 DSDFは不確実性に応じてエージェントの割引係数を調整し,その値を用いて個々のエージェントのユーティリティネットワークを更新する。
論文参考訳（メタデータ） (2021-09-14T12:02:28Z)
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning [47.154539984501895]
本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
論文参考訳（メタデータ） (2020-10-31T22:50:21Z)
Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文参考訳（メタデータ） (2020-06-07T18:28:41Z)
Learning to Model Opponent Learning [11.61673411387596]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
論文参考訳（メタデータ） (2020-06-06T17:19:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。