論文の概要: Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games

• arxiv url: http://arxiv.org/abs/2610.00619v1
• Date: Wed, 30 Sep 2026 19:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.729478
• Title: Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games
• Title（参考訳）: 超競争的成果を超えて: 最適な実行ゲームのための深層強化学習における協調行動
• Abstract要約: 我々は、逸脱を抑え、共謀の行動的証拠を提供する、学習された懲罰的メカニズムを見つける。 有限ホライゾンアルムグレン-クリス液化ゲームにおいて,この機構について検討する。 我々は2つの小切手を定めている:罰が減退の利益を上回るかどうか、また貿易行動の変化が課された損失を考慮に入れられるほど大きいかどうか。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we extend earlier findings of supra-competitive outcomes in optimal-execution games by identifying a learned punitive mechanism that deters deviations and provides behavioural evidence of collusion. We investigate this mechanism in a two-player, finite-horizon Almgren-Chriss liquidation game. Independent proximal policy optimisation agents with access to within-episode price and action histories achieve costs below the Nash benchmark. We identify a profitable deviation by training against the mean learned liquidation schedule, then impose its first trade on one of the original agents. The opponent responds by accelerating liquidation. This response more than offsets the deviator's gain in every run and both player roles, while leaving the punisher's average payoff materially unchanged relative to not punishing under the same deviation. The punisher imposes greater losses on the deviator while preserving its own average payoff, despite the availability of more profitable, less punitive liquidation plans. Matching deviations and subsequent additional selling rise and later decline during training, while final policies retain an effective punitive response. We formalise two checks: whether punishment outweighs the gain from deviating, and whether the change in trading behaviour is large enough to account for the loss imposed. Both checks hold for the tested deviation. Together, these findings provide behavioural and economic evidence supporting a collusive interpretation of the learned supra-competitive outcomes.
• Abstract（参考訳）: 本稿では, 最適実行ゲームにおいて, 偏差を抑え, 共謀の行動的証拠を提供する学習的抑止機構を同定することにより, 最善実行ゲームにおける超競争的な結果の早期発見を拡大する。 本研究では,この機構を2人プレイの有限ホライゾンアルムグレン-クリス液化ゲームで検討する。 エピソード内価格とアクションヒストリーにアクセス可能な独立的政策最適化エージェントは、Nashベンチマークを下回るコストを達成している。 我々は、平均的な学習された清算スケジュールに対するトレーニングによって利益の分配を特定し、最初の取引を元のエージェントの1つに課す。 相手は清算を加速して反応する。 この反応は、全てのランと両方のプレイヤーロールにおいてディビエーターの利得を相殺するだけでなく、同じ逸脱で罰せられないように、罰者の平均的な報酬は実質的に変わらない。 この処罰者は、より利益があり、罰則的でない清算計画が利用可能であるにもかかわらず、自身の平均的な支払を保ちながら、解雇者により大きな損失を課す。 逸脱とその後の追加販売の増加と訓練中の減少が一致し、最終的な政策は効果的な懲罰的対応を維持している。 我々は2つの小切手を定めている:罰が減退の利益を上回るかどうか、また貿易行動の変化が課された損失を考慮に入れられるほど大きいかどうか。 どちらのチェックも、テストされた偏差を保留する。 これらの知見は、学習された超競争的な結果の合理的な解釈を支持する行動的および経済的な証拠を提供する。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
  9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。 我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
  論文  参考訳（メタデータ） (2026-07-12T16:03:30Z)
• RLVP: Penalize the Path, Reward the Outcome [0.33451037881913753]
  検証可能な報酬(RLVR)からの強化学習は、両方の課題に盲目である。 進捗に報いることで監督を強化しようとする試みは、検証の難しい方向を狙う。 のレシピは、ほぼゼロに近い違反で高いタスクの成功を達成します。
  論文  参考訳（メタデータ） (2026-07-08T14:06:14Z)
• Memory-Induced Supra-Competitive Outcomes Between Deep Reinforcement Learning Agents in Optimal Trade Execution [0.0]
  本研究では,アルムグレン・クリス液化ゲームについて検討し,学習行動がエポゾード内環境フィードバックにどのように依存するかを検討した。 エージェントがエピソード内履歴、特に最近の価格と過去の行動にアクセスできるようになれば、超競争的な結果はかなり頻繁になり、より永続的になる。
  論文  参考訳（メタデータ） (2026-05-19T18:03:48Z)
• The Cancellation Hypothesis in Critic-Free RL: From Outcome Rewards to Token Credits [56.379030343338776]
  トークンレベルでの批判フリーなRLについて検討し,トークンフライング現象を明らかにした。 トークンの確率変化は、それ自身の利点によって完全に決定されないことを示し、他のトークンとの結合勾配相互作用も無視できない役割を担っている。
  論文  参考訳（メタデータ） (2026-05-09T04:07:20Z)
• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
  我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。 本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。 我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
  論文  参考訳（メタデータ） (2025-01-30T23:41:40Z)
• Fighting Copycat Agents in Behavioral Cloning from Observation Histories [85.404120663644]
  模倣学習は、入力観察から専門家が選択したアクションにマップするポリシーを訓練する。 本稿では,従来の専門家の行動ニュアンスに関する過剰な情報を除去する特徴表現を学習するための敵対的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-28T10:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。