論文の概要: Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets

• arxiv url: http://arxiv.org/abs/2107.08083v1
• Date: Fri, 16 Jul 2021 19:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 14:41:32.778087
• Title: Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets
• Title（参考訳）: 取引市場向けロバストリスク感性強化学習エージェント
• Authors: Yue Gao and Kry Yik Chau Lui and Pablo Hernandez-Leal
• Abstract要約: トレーディングマーケットは、強化学習エージェントを展開するための現実世界の金融アプリケーションである。 リスクに敏感なペイオフを考慮したマルチエージェント学習のための経験的ゲーム理論解析を拡張した最初の研究である。
• 参考スコア（独自算出の注目度）: 23.224860573461818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trading markets represent a real-world financial application to deploy reinforcement learning agents, however, they carry hard fundamental challenges such as high variance and costly exploration. Moreover, markets are inherently a multiagent domain composed of many actors taking actions and changing the environment. To tackle these type of scenarios agents need to exhibit certain characteristics such as risk-awareness, robustness to perturbations and low learning variance. We take those as building blocks and propose a family of four algorithms. First, we contribute with two algorithms that use risk-averse objective functions and variance reduction techniques. Then, we augment the framework to multi-agent learning and assume an adversary which can take over and perturb the learning process. Our third and fourth algorithms perform well under this setting and balance theoretical guarantees with practical use. Additionally, we consider the multi-agent nature of the environment and our work is the first one extending empirical game theory analysis for multi-agent learning by considering risk-sensitive payoffs.
• Abstract（参考訳）: トレーディングマーケットは、強化学習エージェントを展開するための現実世界の金融アプリケーションであるが、高い分散やコストのかかる調査のような厳しい根本的な課題を抱えている。 さらに、市場は本質的に多くのアクターが行動し環境を変えるマルチエージェントドメインである。 このようなシナリオに対処するには、リスク認識、摂動に対する堅牢性、学習のばらつきの低さなど、特定の特性を示す必要がある。 これらをビルディングブロックとし、4つのアルゴリズムのファミリーを提案する。 まず,リスク逆目的関数と分散低減手法を用いる2つのアルゴリズムに寄与する。 次に,マルチエージェント学習のためのフレームワークを拡張し,学習プロセスを乗っ取り,摂動できる相手を仮定する。 第3および第4のアルゴリズムは,この設定下で良好に動作し,理論的保証と実用性とのバランスをとる。 さらに,環境のマルチエージェント性について考察し,リスクに敏感なペイオフを考慮したマルチエージェント学習のための経験的ゲーム理論分析を初めて拡張した。

関連論文リスト

• Deviations from the Nash equilibrium and emergence of tacit collusion in a two-player optimal execution game with reinforcement learning [0.9208007322096533]
  2つの自律的エージェントが市場の影響下で同じ資産を最適に清算することを学習するシナリオについて検討する。 その結果,エージェントが学んだ戦略は,対応する市場影響ゲームのナッシュ均衡から大きく逸脱していることがわかった。 市場のボラティリティの異なるレベルがエージェントのパフォーマンスと彼らが発見する均衡にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-08-21T16:54:53Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Risk-Aware Distributed Multi-Agent Reinforcement Learning [8.287693091673658]
  我々は,リスク認識行動の学習により,未知環境における意思決定問題を解決するために,分散MARLアプローチを開発した。 次に,CVaR QD-Learningアルゴリズムと呼ばれる分散MARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:56:44Z)
• Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning [9.290757451344673]
  分布のサンプリング領域をシフトさせることにより協調的に楽観的な行動をもたらすリスクベースの探索を提案する。 本手法は, 量子レグレッションに基づく協調探索を必要とするマルチエージェント環境において, 顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-03-03T08:17:57Z)
• Factor Investing with a Deep Multi-Factor Model [123.52358449455231]
  我々は、業界中立化と市場中立化モジュールを明確な財務見識をもって取り入れた、新しい深層多要素モデルを開発する。 実世界の株式市場データによるテストは、我々の深層多要素モデルの有効性を示している。
  論文  参考訳（メタデータ） (2022-10-22T14:47:11Z)
• Towards Multi-Agent Reinforcement Learning driven Over-The-Counter Market Simulations [16.48389671789281]
  オーバー・ザ・カウンタ市場において,流動性提供者と流動性取扱業者が相互作用するゲームについて検討した。 互いに対戦することで、深層強化学習主体のエージェントは創発的な行動を学ぶ。 遷移性仮定の下で,多エージェントポリシー勾配アルゴリズムの収束率を示す。
  論文  参考訳（メタデータ） (2022-10-13T17:06:08Z)
• Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
  遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。 我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T01:14:20Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
  実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
  論文  参考訳（メタデータ） (2020-06-07T18:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。