論文の概要: Multi-Agent Reinforcement Learning for Market Making: Competition without Collusion

• arxiv url: http://arxiv.org/abs/2510.25929v1
• Date: Wed, 29 Oct 2025 20:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.556243
• Title: Multi-Agent Reinforcement Learning for Market Making: Competition without Collusion
• Title（参考訳）: 市場形成のためのマルチエージェント強化学習--競争を伴わない競争
• Authors: Ziyi Wang, Carmine Ventre, Maria Polukarov,
• Abstract要約: 市場形成におけるアルゴリズム的共謀を研究するための階層型多エージェント強化学習フレームワークを提案する。 このフレームワークは、敵が形作る不確実な環境で訓練される自己関心の市場メーカー(AgentA)を含む。 適応型インセンティブ制御は、異種エージェント環境におけるより持続可能な戦略的共存を支援する。
• 参考スコア（独自算出の注目度）: 6.598173855286935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithmic collusion has emerged as a central question in AI: Will the interaction between different AI agents deployed in markets lead to collusion? More generally, understanding how emergent behavior, be it a cartel or market dominance from more advanced bots, affects the market overall is an important research question. We propose a hierarchical multi-agent reinforcement learning framework to study algorithmic collusion in market making. The framework includes a self-interested market maker (Agent~A), which is trained in an uncertain environment shaped by an adversary, and three bottom-layer competitors: the self-interested Agent~B1 (whose objective is to maximize its own PnL), the competitive Agent~B2 (whose objective is to minimize the PnL of its opponent), and the hybrid Agent~B$^\star$, which can modulate between the behavior of the other two. To analyze how these agents shape the behavior of each other and affect market outcomes, we propose interaction-level metrics that quantify behavioral asymmetry and system-level dynamics, while providing signals potentially indicative of emergent interaction patterns. Experimental results show that Agent~B2 secures dominant performance in a zero-sum setting against B1, aggressively capturing order flow while tightening average spreads, thus improving market execution efficiency. In contrast, Agent~B$^\star$ exhibits a self-interested inclination when co-existing with other profit-seeking agents, securing dominant market share through adaptive quoting, yet exerting a milder adverse impact on the rewards of Agents~A and B1 compared to B2. These findings suggest that adaptive incentive control supports more sustainable strategic co-existence in heterogeneous agent environments and offers a structured lens for evaluating behavioral design in algorithmic trading systems.
• Abstract（参考訳）: アルゴリズムによる共謀はAIの中心的な問題として浮上している: 市場に配置された異なるAIエージェント間の相互作用は共謀につながるのだろうか? より一般的には、より高度なボットによるカルテルや市場支配といった創発的な行動が市場全体に与える影響を理解することは、重要な研究課題である。 市場形成におけるアルゴリズム的共謀を研究するための階層型多エージェント強化学習フレームワークを提案する。 フレームワークには、敵が形作る不確実な環境でトレーニングされる自己関心の市場メーカー(Agent~A)と、自己関心のエージェント~B1(PnLを最大化することを目的としている)、競合エージェント~B2(PnLを最小化することを目的としている)、ハイブリッドエージェント~B$^\star$の3つのボトム層競合体が含まれる。 これらのエージェントが相互の行動をどのように形成し、市場の結果に影響を与えるかを分析するために、創発的相互作用パターンを示す信号を提供しながら、行動非対称性とシステムレベルのダイナミクスを定量化する相互作用レベルメトリクスを提案する。 実験結果から, エージェント〜B2は, B1に対するゼロサム設定における支配的性能を確保でき, 平均展開を絞ったまま, 注文フローを積極的に捕捉し, 市場実行効率を向上することがわかった。 対照的に、エージェント~B$^\star$は、他の利益探究エージェントと共存する際の自己関心の傾きを示し、アダプティブ・クォーティングを通じて市場シェアを安定させ、エージェント~A、B1の報酬にB2に比べて軽度に悪影響を及ぼす。 これらの結果から, 適応型インセンティブ制御は, 異種エージェント環境におけるより持続可能な戦略的共存を支援することが示唆され, アルゴリズム取引システムにおける行動設計を評価するための構造化レンズが提供される。

関連論文リスト

• Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets [74.91125572848439]
  本稿では,サービスエージェントが消費者を代表し,サービスエージェントが競合するビジネスを代表する2面のエージェントマーケットプレースについて検討する。 この環境では、ユーティリティエージェントが達成する行動バイアス、操作に対する脆弱性、検索メカニズムが市場の結果をどのように形作るか、といった主要な市場ダイナミクスを研究することができる。 実験の結果、フロンティアモデルは最適な福祉に近づくことができるが、理想的な探索条件下でのみ適用可能であることが判明した。
  論文  参考訳（メタデータ） (2025-10-27T18:35:59Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Evaluating LLM Agent Collusion in Double Auctions [1.3194391758295114]
  模擬複競売市場での売り手として働く大規模言語モデル(LLM)の挙動について検討する。 直接販売者間のコミュニケーションは、衝突傾向を高め、衝突する確率はモデルによって異なり、当局による監視や緊急といった環境圧力は、衝突行動に影響を与える。
  論文  参考訳（メタデータ） (2025-07-02T07:06:49Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Robustness Testing for Multi-Agent Reinforcement Learning: State Perturbations on Critical Agents [2.5204420653245245]
  MARL(Multi-Agent Reinforcement Learning)は、スマート交通や無人航空機など、多くの分野に広く応用されている。 本研究は,MARLのための新しいロバストネステストフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-09T02:26:28Z)
• Artificial Intelligence and Dual Contract [2.1756081703276]
  独立したQ-ラーニングアルゴリズムを備えた2つのプリンシパルが1つのエージェントと対話するモデルを開発する。 その結果、AIプリンシパルの戦略的行動は、利益の整合性に決定的に左右されることがわかった。
  論文  参考訳（メタデータ） (2023-03-22T07:31:44Z)
• Multi-Issue Bargaining With Deep Reinforcement Learning [0.0]
  本稿では,バーゲティングゲームにおける深層強化学習の活用について検討する。 入札と受け入れ戦略のために2つのアクター・クリティカル・ネットワークが訓練された。 ニューラルエージェントは時間ベースのエージェントを活用することを学び、決定優先値の明確な遷移を達成する。 彼らはまた、譲歩、割引要因、行動に基づく戦略の異なる組み合わせに対して適応的な行動を示す。
  論文  参考訳（メタデータ） (2020-02-18T18:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。