論文の概要: TT-DAC-PS: Twin-Target Deterministic Actor-Critic with Policy Smoothing for Optimal Trade Execution

• arxiv url: http://arxiv.org/abs/2606.08379v1
• Date: Sun, 07 Jun 2026 00:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.073076
• Title: TT-DAC-PS: Twin-Target Deterministic Actor-Critic with Policy Smoothing for Optimal Trade Execution
• Title（参考訳）: TT-DAC-PS:最適貿易実行のための政策平滑な二段階決定論的アクター批判
• Authors: Ilia Zaznov, Atta Badii, Julian Kunkel, Alfonso Dufour,
• Abstract要約: 本研究では,TT-DAC-PSの導入による大規模株式販売プログラムの最適実行について検討する。 TD3スタイルのターゲットポリシースムーズなノイズ、遅延アクター更新、そして過大評価を抑制するための保守的なQ正規化などだ。
• 参考スコア（独自算出の注目度）: 0.37759712800371253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses the optimal execution of large stock sell programs by introducing TT-DAC-PS (Twin-Target Deterministic Actor-Critic with Policy Smoothing), a deterministic actor-critic architecture that combines twin exponential-moving-average critic targets with pessimistic min backup, TD3-style target policy smoothing noise, delayed actor updates, and conservative Q regularisation to curb overestimation. Exploration uses Ornstein-Uhlenbeck (OU) noise with a hybrid schedule: deterministic episode-wise decay, variance-guided adjustment based on recent reward dispersion, and a Soft Actor-Critic (SAC)-style temperature that is learned and mapped to the noise scale. The environment integrates Almgren-Chriss (AC) trade impact with Limit Order Book (LOB) prices and volumes, normalised state features, per-step volume participation caps, and a utility-based reward. The trade execution algorithm is applied to LOB data for ten U.S. stocks. Performance is assessed against reinforcement-learning baseline algorithms, including Proximal Policy Optimisation (PPO), Soft Actor-Critic (SAC), and Advantage Actor-Critic (A2C), as well as alternative trade execution algorithms, including Time-Weighted Average Price (TWAP), Volume-Weighted Average Price (VWAP), and AC. The proposed model consistently reduces mean implementation shortfall percentage with competitive variance, outperforming classical baselines and standard reinforcement-learning benchmark models.
• Abstract（参考訳）: 本研究は,TT-DAC-PS (Twin-Target Deterministic Actor-Critic with Policy Smoothing) による大規模株式販売プログラムの最適実行について考察する。 探索ではOrnstein-Uhlenbeck(OU)ノイズをハイブリッドスケジュールで使用し、決定論的エピソードワイドの減衰、最近の報酬分散に基づく分散誘導調整、学習し、ノイズスケールにマッピングするSoft Actor-Critic(SAC)スタイルの温度を推定する。 この環境は、Almgren-Chriss(AC)の貿易影響と、LOB(Limit Order Book)の価格とボリューム、正規化された状態の特徴、ステップ単位のボリューム参加キャップ、ユーティリティベースの報酬を統合している。 取引実行アルゴリズムは米国10株のLOBデータに適用される。 性能は、PPO(Proximal Policy Optimisation)、SAC(Soft Actor-Critic)、Advantage Actor-Critic(Advantage Actor-Critic)などの強化学習ベースラインアルゴリズムや、TWAP(Time-Weighted Average Price)、VWP(Volume-Weighted Average Price)、AC(AC)などの代替取引実行アルゴリズムに対して評価される。 提案モデルでは、競合分散による平均実装不足率を一貫して減少させ、古典的ベースラインと標準強化学習ベンチマークモデルより優れる。

関連論文リスト

• When Denser Credit Is Not Enough: Evidence-Calibrated Policy Optimization for Long-Horizon LLM Agent Training [8.367896852036699]
  Evidence-Calibrated Policy Optimization (ECPO) は、ポリシー更新の前にステップレベルのクレジットを校正する、批判のないポリシー最適化アルゴリズムである。 ECPOは強いベースラインを一貫して上回り、Qwen2.5-1.5BでALFWorld/WebShopでGGPOを+5.2/+7.3成功点で改善した。
  論文  参考訳（メタデータ） (2026-06-04T08:54:09Z)
• GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning [37.42112473325871]
  不完全な情報ゲームにおけるセルフプレイ強化学習では、エージェントは部分的な観察可能性の下で行動する必要がある。 PPO(Proximal Policy Optimization)は、経験的成功を強く達成しているが、今後の行動のサンプリングにより、さらなるばらつきに悩まされている。 Q$-boosting, a variance-reduced advantage estimator based on a central action-value critic, and proposed Variance-reduced Policy Optimization (VRPO)。 VRPOは、Dou DizhuやHeads-Up No-Limit Texas Hold'emといった中規模から大規模まで、一貫して強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-19T01:07:39Z)
• Actor-Critic with Active Importance Sampling [61.41272490044518]
  本稿では,Active-Importance-Sampling Actor-Critic (AISAC)アルゴリズムを提案する。 AISACはActor-Criticフレームワークの拡張であり、ポリシー勾配推定のばらつきを低減する。 実験では、標準的なアクター・クライブ法と比較して学習速度、サンプル効率、トレーニングが改善された。
  論文  参考訳（メタデータ） (2026-05-08T01:21:32Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Commodities Trading through Deep Policy Gradient Methods [0.0]
  商品取引問題を連続的な離散時間力学系として定式化する。 アクターベースとアクタークリティカルベースの2つのポリシーアルゴリズムが導入された。 先月末の天然ガス先物試験では、DRLモデルのシャープ比が買いと持ち株ベースラインと比較して83%高くなることが示されている。
  論文  参考訳（メタデータ） (2023-08-10T17:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。