論文の概要: DeepSeekMath Meets Order Book: Group-Aware Policy Optimization for High-Frequency Directional Trading
- arxiv url: http://arxiv.org/abs/2605.25527v1
- Date: Mon, 25 May 2026 07:33:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.44429
- Title: DeepSeekMath Meets Order Book: Group-Aware Policy Optimization for High-Frequency Directional Trading
- Title（参考訳）: DeepSeekMathが注文書を発表: 高周波指向取引のためのグループ対応ポリシー最適化
- Authors: Sayak Charabarty, Souradip Pal,
- Abstract要約: 本稿では,規則フローに基づく状態モデルと政策段階の手法を組み合わせて,制限順序書の高周波トレーディングのための強化学習について検討する。
当社のアプローチでは,グループ正規化とダウンサイド対応のシェーピングを併用した,vanilla PPOやDeepSeekMathにインスパイアされたGRPOやGSPOなど,ポリシベースのRLをデプロイする。
その結果,(1) 順序流信号はポリシー更新に適した状態であり,(2) グループ対応のPPOサロゲートは値ベースのベースラインよりも望ましいことがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies reinforcement learning for high-frequency trading on limit order books by pairing an Order-Flow-based state model with policy-gradient methods. Instead of value-based RL techniques like tabular Q-learning, our approach deploys policy-based methods like vanilla PPO and DeepSeekMath-inspired variants like GRPO and GSPO, that use group-normalized updates and downside-aware shaping. On backtests with financial assets AMZN, AAPL, and GOOG under a simplified backtesting setup based on spread-scaled rewards, these new policies improve net average PnL, profitability, and drawdown over the Q-Learning baseline. Our results show that (1) Order-Flow signals are an adequate state for policy RL and (2) group-aware PPO surrogates are preferable over value-based baselines.
- Abstract（参考訳）: 本稿では,規則フローに基づく状態モデルと政策段階の手法を組み合わせて,制限順序書の高周波トレーディングのための強化学習について検討する。
タブ型Q-ラーニングのような価値ベースのRL技術の代わりに、当社のアプローチでは、グループ正規化された更新とダウンサイド対応のシェーピングを使用する、vanilla PPOやDeepSeekMathにインスパイアされたGRPOやGSPOといった、ポリシーベースの方法を採用しています。
金融資産AMZN、AAPL、GOOGとのバックテストにおいて、スプレッドスケールの報酬に基づく簡易なバックテスト設定により、これらの新政策は、純平均PnL、収益性、Qラーニングベースラインの縮小を改善する。
その結果,(1)順序流信号はポリシーRLの適切な状態であり,(2)グループ対応のPPOサロゲートは値ベースベースラインよりも望ましいことがわかった。
関連論文リスト
- One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing [1.9552387050709823]
タスク間の勾配条件付けと学習のバランスを改善するモジュールセットであるTOPPOを提案する。
TOPPOは、公表されたSACファミリーやARSファミリーのベースラインよりも、平均とテールタスクのパフォーマンスが向上する。
提案手法は, 適切な最適化により, MTRLの法外アプローチに対抗し, 越えることが可能であることを実証した。
論文 参考訳（メタデータ） (2026-05-12T03:40:28Z) - Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。
AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。
強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
論文 参考訳（メタデータ） (2025-10-02T04:24:27Z) - On the Theory and Practice of GRPO: A Trajectory-Corrected Approach with Fast Convergence [2.8165669455824696]
Group Relative Policy Optimizationは、批判のない強化学習アルゴリズムである。
GRPO更新規則は,現行の方針よりも旧方針の政策勾配を推定する。
軌道レベルの重要度補正 GRPO という新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-04T19:01:19Z) - BNPO: Beta Normalization Policy Optimization [9.60676665395923]
動的に更新されたパラメータを持つベータ分布を用いて報酬を適応的に正規化する新しいポリシー最適化手法を提案する。
本稿では,BNPOの分散還元特性を理論的に証明し,二値報酬設定の下でREINFORCEとGRPOの両方を一般化することを示す。
実験の結果,BNPOは推論タスクにおけるポリシー最適化手法の最先端性能を達成できることを確認した。
論文 参考訳（メタデータ） (2025-06-03T13:28:57Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳（メタデータ） (2025-04-18T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。