論文の概要: Learning to Steer Markovian Agents under Model Uncertainty
- arxiv url: http://arxiv.org/abs/2407.10207v2
- Date: Mon, 07 Oct 2024 16:25:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 18:00:49.044929
- Title: Learning to Steer Markovian Agents under Model Uncertainty
- Title(参考訳): モデル不確かさ下におけるマルコフエージェントの学習
- Authors: Jiawei Huang, Vinzenz Thoma, Zebang Shen, Heinrich H. Nax, Niao He,
- Abstract要約: 我々は,希望する政策に向けて,マルチエージェントシステムに付加的な報酬を課す方法について検討する。
既存の作業の制限によって動機づけられた我々は、emphMarkovian agentと呼ばれる学習力学の新しいカテゴリーを考える。
我々は、エージェントの学習力学に関する本質的なモデルの不確実性を扱うために、歴史に依存した運営戦略を学習する。
- 参考スコア(独自算出の注目度): 23.603487812521657
- License:
- Abstract: Designing incentives for an adapting population is a ubiquitous problem in a wide array of economic applications and beyond. In this work, we study how to design additional rewards to steer multi-agent systems towards desired policies \emph{without} prior knowledge of the agents' underlying learning dynamics. Motivated by the limitation of existing works, we consider a new and general category of learning dynamics called \emph{Markovian agents}. We introduce a model-based non-episodic Reinforcement Learning (RL) formulation for our steering problem. Importantly, we focus on learning a \emph{history-dependent} steering strategy to handle the inherent model uncertainty about the agents' learning dynamics. We introduce a novel objective function to encode the desiderata of achieving a good steering outcome with reasonable cost. Theoretically, we identify conditions for the existence of steering strategies to guide agents to the desired policies. Complementing our theoretical contributions, we provide empirical algorithms to approximately solve our objective, which effectively tackles the challenge in learning history-dependent strategies. We demonstrate the efficacy of our algorithms through empirical evaluations.
- Abstract(参考訳): 適応する人口のためのインセンティブを設計することは、幅広い経済応用において、そしてそれ以上の領域において、ユビキタスな問題である。
本研究では,エージェントの基盤となる学習力学の事前知識に基づいて,マルチエージェントシステムに対して,望ましいポリシーであるemph{without}に向けて,新たな報酬を設計する方法について検討する。
既存の研究の限界により、我々は「emph{Markovian agent}」と呼ばれる学習力学の新しい一般的なカテゴリを考える。
ステアリング問題に対して,モデルに基づく非エポゾディック強化学習(RL)の定式化を導入する。
重要なことは、エージェントの学習力学に関する本質的なモデルの不確実性を扱うために、emph{history-dependent} ステアリング戦略を学習することに焦点を当てている。
適切なコストで良好なステアリング結果を達成するためのデシダラタを符号化する新たな客観的機能を導入する。
理論的には,所望の政策にエージェントを誘導するステアリング戦略の存在条件を特定する。
理論的な貢献を補完し,我々の目的を概ね解くための経験的アルゴリズムを提供し,歴史に依存した戦略を学習する上での課題に効果的に取り組む。
経験的評価により,アルゴリズムの有効性を実証する。
関連論文リスト
- Discovering How Agents Learn Using Few Data [32.38609641970052]
本稿では,単一系軌道の短いバーストを用いたエージェント動作のリアルタイム同定のための理論的,アルゴリズム的なフレームワークを提案する。
提案手法は, 平衡選択やカオスシステムの予測など, 様々なベンチマークにおいて, 真の力学を正確に再現する。
これらの結果から,戦略的マルチエージェントシステムにおいて,効果的な政策と意思決定を支援する可能性が示唆された。
論文 参考訳(メタデータ) (2023-07-13T09:14:48Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Intrinsic Motivation in Model-based Reinforcement Learning: A Brief
Review [77.34726150561087]
本稿では,エージェントが獲得した世界モデルに基づいて,本質的な動機付けを決定するための既存の手法について考察する。
提案した統合フレームワークは,学習を改善するために,世界モデルと本質的なモチベーションを用いてエージェントのアーキテクチャを記述する。
論文 参考訳(メタデータ) (2023-01-24T15:13:02Z) - Option-Aware Adversarial Inverse Reinforcement Learning for Robotic
Control [44.77500987121531]
階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。
逆逆強化学習に基づく新しいHILアルゴリズムを開発した。
また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-05T00:28:26Z) - Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。
本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
論文 参考訳(メタデータ) (2022-01-27T19:51:09Z) - Reinforcement Learning with Dynamic Convex Risk Measures [0.0]
モデルレス強化学習(RL)を用いた時間一貫性リスク感応的最適化問題の解法を開発する。
我々は、時間一貫性のある動的プログラミング原則を用いて、特定のポリシーの価値を決定し、ポリシー勾配更新ルールを開発する。
論文 参考訳(メタデータ) (2021-12-26T16:41:05Z) - Generalized dynamic cognitive hierarchy models for strategic driving
behavior [13.415452801139843]
我々は、自然主義的人間運転行動と自律走行車における行動計画の両方をモデル化するための一般化された動的認知階層の枠組みを開発する。
2つの大きな自然主義的データセットの評価に基づいて、動的レベル-kフレームワークにおけるレベル-0の振る舞いにオートマトン戦略が適していることを示す。
論文 参考訳(メタデータ) (2021-09-20T21:49:52Z) - Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。
結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。
我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
論文 参考訳(メタデータ) (2021-04-20T18:16:21Z) - Model-based Meta Reinforcement Learning using Graph Structured Surrogate
Models [40.08137765886609]
グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。
当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
論文 参考訳(メタデータ) (2021-02-16T17:21:55Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。