論文の概要: Cooperative Multi-Agent Reinforcement Learning for Market Making on Prediction-Market Order Books

• arxiv url: http://arxiv.org/abs/2610.26789v1
• Date: Mon, 19 Oct 2026 17:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:22:14.048894
• Title: Cooperative Multi-Agent Reinforcement Learning for Market Making on Prediction-Market Order Books
• Title（参考訳）: 予測市場注文書の市場形成のための協調型マルチエージェント強化学習
• Abstract要約: 予測市場におけるマルチエージェント強化学習を訓練した市場メーカについて検討する。 悪質な選択は 実際のデータで訓練されたポリシーを 引用を止めさせるかもしれない 引用の結果は、アクションの後に多くのステップに到達できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A market maker provides liquidity by quoting prices to buy and sell an asset, earning the spread while managing inventory risk. We study market makers trained with multi-agent reinforcement learning on prediction markets, specifically Polymarket, whose thin order books pose distinct challenges. Three challenges underpin this research: adverse selection may cause a policy trained on real data to stop quoting; the consequences of a quote can arrive many steps after the action; and prediction-market L2 data does not identify individual orders needed for simulation. We address these challenges by reconstructing order-level LOBSTER-format data from Polymarket and training agents in JaxMARL-HFT on 417 real markets. We enrich the baseline market maker's observation space with the book and recent flow, redesign its actions and inventory controls, and propose a cooperative multi-agent decomposition into a quoter and a risk manager trained using recurrent Independent Proximal Policy Optimisation (IPPO) with RNN policies. We investigate reward shaping, particularly reward blending and post-fill markout, to mitigate credit-assignment difficulties between the agents. Our redesigned single-agent market maker quotes more frequently and incurs smaller held-out losses than the retrained JaxMARL-HFT baseline, although the contributions of jointly changed observations, actions and risk constraints are not separately identified. Decomposition alone performs poorly; careful reward design substantially improves the desk relative to the unshaped split and yields our best result. Models are evaluated on realised end-of-episode portfolio value on held-out markets. None establishes positive average portfolio value in periodic held-out evaluation, and each configuration was trained with one seed. The environment, data and protocol lay a foundation for makers that quote many linked markets at once.
• Abstract（参考訳）: マーケットメーカは、資産を売買する価格を見積もって流動性を提供し、在庫リスクを管理しながらスプレッドを稼いでいる。 我々は、予測市場でマルチエージェント強化学習で訓練された市場メーカ、特にPolymarketについて調査する。 この研究には3つの課題がある: 不正選択は、実際のデータに基づいて訓練されたポリシーを、引用を停止させる可能性がある; 引用の結果は、アクションの後に多くのステップに達する可能性がある; 予測市場であるL2データは、シミュレーションに必要な個々の注文を特定できない。 これらの課題は、Polymarketから注文レベルのLOBSTERフォーマットデータを再構築し、JaxMARL-HFTの417実市場におけるトレーニングエージェントに対処する。 我々は,本書と最近の流れで市場メーカの観察空間を充実させ,その行動と在庫管理を再設計し,RNNポリシーによるリカレント・インディペンデント・プロキシ・ポリシー・オプティマイゼーション(IPPO)を用いて訓練された,引用者およびリスクマネージャへの協調的マルチエージェント分解を提案する。 報酬形成,特に報酬ブレンディングとポストフィルマークアウトについて検討し,エージェント間のクレジット割り当て困難を軽減した。 我々の再設計した単一エージェント市場メーカは、JaxMARL-HFTベースラインよりも頻繁に引用し、ホールドアウト損失を小さくするが、共同で変更した観察、行動、リスク制約の貢献は別途特定されない。 分解だけでは性能が悪く、注意深い報酬設計は、未形状の分割に対して机を大幅に改善し、最高の結果をもたらす。 モデルは、保有市場における実現したポートフォリオのポートフォリオ価値に基づいて評価される。 定期的保留評価において, 正の平均ポートフォリオ価値は確立されず, それぞれの構成を1つの種で訓練した。 環境、データ、プロトコルは、多くの関連市場を一度に引用するメーカーの基盤となっている。

関連論文リスト

• Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets [32.28218090124958]
  本研究では,マルチテムバーゲティング環境において,このようなエージェントを効果的に売り手として機能させるための機械学習アプローチを開発する。 我々は,この問題を構造化された4部分メッセージプロトコルを用いて,部分観測可能なマルコフ決定プロセスとして定式化する。 この枠組みを評価するために,制約順守,売り手余剰抽出,割当品質を定量化する多次元計量スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-27T06:51:56Z)
• From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets [34.699961175708815]
  KTD-Finは、エンドツーエンドの株式市場トレーディングベンチマークである。 歴史的市場記憶と投資決定を分離する。 Barraスタイルのパフォーマンス属性フレームワークが組み込まれている。
  論文  参考訳（メタデータ） (2026-05-27T11:57:10Z)
• Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets [57.179679246370114]
  金融分野では、強化学習(RL)エージェントは、価格に影響を与えない歴史的データに基づいて訓練されることが多い。 展開中、これらのエージェントは、自身の取引が資産価格を変えることができるライブマーケットで取引する。 従来のロバストなRLアプローチは、不確実性の集合に対して最悪のパフォーマンスを最適化することで、このモデルの誤特定に対処する。 楕円型不確実性集合の新たなクラスを開発し,効率的かつ堅牢な政策評価を可能にする。
  論文  参考訳（メタデータ） (2025-10-22T18:22:25Z)
• When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.55061622246824]
  Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。 AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。 GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる薬剤を評価する。
  論文  参考訳（メタデータ） (2025-10-13T17:54:09Z)
• MARS: A Meta-Adaptive Reinforcement Learning Framework for Risk-Aware Multi-Agent Portfolio Management [7.740995234462868]
  強化 学習は、自動ポートフォリオ管理において大きな可能性を秘めている。 リスク認識システム(MARS)のためのメタ制御エージェントを提案する。 MARSは異種エージェントアンサンブルを使用しており、各エージェントは固有の固有のリスクプロファイルを持っている。
  論文  参考訳（メタデータ） (2025-08-02T03:23:41Z)
• To Trade or Not to Trade: An Agentic Approach to Estimating Market Risk Improves Trading Decisions [0.0]
  大規模言語モデル(LLM)はますますエージェントフレームワークにデプロイされている。 我々は LLM を用いて金融時系列の微分方程式を反復的に発見するエージェントシステムを開発した。 モデルインフォームドトレーディング戦略は標準LLMエージェントよりも優れていた。
  論文  参考訳（メタデータ） (2025-07-11T13:29:32Z)
• When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
  LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。 StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。 AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
  論文  参考訳（メタデータ） (2024-07-15T06:49:30Z)
• Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
  本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。 模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
  論文  参考訳（メタデータ） (2021-12-08T14:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。