論文の概要: Towards Multi-Agent Reinforcement Learning driven Over-The-Counter Market Simulations

• arxiv url: http://arxiv.org/abs/2210.07184v2
• Date: Tue, 1 Aug 2023 15:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 18:29:34.322857
• Title: Towards Multi-Agent Reinforcement Learning driven Over-The-Counter Market Simulations
• Title（参考訳）: マルチエージェント強化学習によるオーバー・ザ・カウンタ市場シミュレーションに向けて
• Authors: Nelson Vadori, Leo Ardon, Sumitra Ganesh, Thomas Spooner, Selim Amrouni, Jared Vann, Mengda Xu, Zeyu Zheng, Tucker Balch, Manuela Veloso
• Abstract要約: オーバー・ザ・カウンタ市場において,流動性提供者と流動性取扱業者が相互作用するゲームについて検討した。 互いに対戦することで、深層強化学習主体のエージェントは創発的な行動を学ぶ。 遷移性仮定の下で,多エージェントポリシー勾配アルゴリズムの収束率を示す。
• 参考スコア（独自算出の注目度）: 16.48389671789281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a game between liquidity provider and liquidity taker agents interacting in an over-the-counter market, for which the typical example is foreign exchange. We show how a suitable design of parameterized families of reward functions coupled with shared policy learning constitutes an efficient solution to this problem. By playing against each other, our deep-reinforcement-learning-driven agents learn emergent behaviors relative to a wide spectrum of objectives encompassing profit-and-loss, optimal execution and market share. In particular, we find that liquidity providers naturally learn to balance hedging and skewing, where skewing refers to setting their buy and sell prices asymmetrically as a function of their inventory. We further introduce a novel RL-based calibration algorithm which we found performed well at imposing constraints on the game equilibrium. On the theoretical side, we are able to show convergence rates for our multi-agent policy gradient algorithm under a transitivity assumption, closely related to generalized ordinal potential games.
• Abstract（参考訳）: 外国為替取引の典型例である国外市場での流動性提供者と流動性テイカーエージェントの相互作用に関するゲームについて検討した。 本稿では,共有ポリシー学習と連動した報酬関数のパラメータ化ファミリーの設計が,この問題に対する効率的な解決策となることを示す。 深層強化学習主体のエージェントは、互いに対戦することによって、利益と損失、最適な実行、市場シェアを含む幅広い目的に対して、創発的な行動を学ぶ。 特に、流動性提供者は自然にヘッジとスキイングのバランスをとることを学び、スキーイングは在庫の機能として価格を非対称に設定・販売することを指す。 さらに,ゲーム平衡に制約を課す手法として,rlを用いた新しいキャリブレーションアルゴリズムを提案する。 理論面では、一般化された順序付ポテンシャルゲームと密接に関連する推移性仮定の下で、多エージェントポリシー勾配アルゴリズムの収束率を示すことができる。

関連論文リスト

• Deviations from the Nash equilibrium and emergence of tacit collusion in a two-player optimal execution game with reinforcement learning [0.9208007322096533]
  2つの自律的エージェントが市場の影響下で同じ資産を最適に清算することを学習するシナリオについて検討する。 その結果,エージェントが学んだ戦略は,対応する市場影響ゲームのナッシュ均衡から大きく逸脱していることがわかった。 市場のボラティリティの異なるレベルがエージェントのパフォーマンスと彼らが発見する均衡にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-08-21T16:54:53Z)
• A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning [53.83345471268163]
  非定常マルチエージェントシステムにおける平衡の学習について検討する。 単エージェント学習へのブラックボックス還元による様々な平衡の検証方法を示す。
  論文  参考訳（メタデータ） (2023-06-12T23:48:24Z)
• Context-Aware Bayesian Network Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning [7.784991832712813]
  本稿では, エージェントの行動選択の相関関係を, 共同政策に導入するベイズネットワークを提案する。 本研究では,コンテキスト認識型ベイズ型ネットワークポリシを学習するための実用的なアルゴリズムを開発した。 MARLベンチマークの実証結果は,我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-06-02T21:22:27Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets [151.03738099494765]
  我々は、市場の両側でプランナーと戦略エージェントのセットを含むマルコフマッチング市場について検討する。 本稿では,楽観的な値反復と最大重みマッチングを組み合わせた強化学習フレームワークを提案する。 我々は,アルゴリズムがサブ線形後悔を実現することを証明した。
  論文  参考訳（メタデータ） (2022-03-07T19:51:25Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Learning Equilibria in Matching Markets from Bandit Feedback [139.29934476625488]
  不確実性の下で安定した市場成果を学習するためのフレームワークとアルゴリズムを開発する。 私たちの研究は、大規模なデータ駆動の市場において、いつ、どのように安定したマッチングが生じるかを明らかにするための第一歩を踏み出します。
  論文  参考訳（メタデータ） (2021-08-19T17:59:28Z)
• Optimal Market Making by Reinforcement Learning [0.0]
  古典的量的金融市場形成問題に強化学習アルゴリズムを適用する。 Deep Q-Learningアルゴリズムは最適なエージェントを復元する。
  論文  参考訳（メタデータ） (2021-04-08T20:13:21Z)
• Strategic bidding in freight transport using deep reinforcement learning [0.0]
  本稿では,貨物輸送市場における戦略的入札行動を表すマルチエージェント強化学習アルゴリズムを提案する。 本アルゴリズムを用いて,エージェント間の中央制御や通信を行わずに市場均衡が実現可能かどうかを検討する。
  論文  参考訳（メタデータ） (2021-02-18T10:17:10Z)
• Learning Strategies in Decentralized Matching Markets under Uncertain Preferences [91.3755431537592]
  エージェントの選好が不明な場合,共有資源の不足の設定における意思決定の問題について検討する。 我々のアプローチは、再生されたカーネルヒルベルト空間における好みの表現に基づいている。 エージェントの期待した利益を最大化する最適な戦略を導出する。
  論文  参考訳（メタデータ） (2020-10-29T03:08:22Z)
• Calibration of Shared Equilibria in General Sum Partially Observable Markov Games [15.572157454411533]
  我々は、異なるタイプのエージェントが単一のポリシーネットワークを共有する、一般的な可観測マルコフゲームを考える。 本稿は,そのようなエージェントが到達した平衡を形式的に理解すること,および,そのような平衡の創発的な現象を現実のターゲットに合わせることを目的としている。
  論文  参考訳（メタデータ） (2020-06-23T15:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。