論文の概要: Adversarial Post-Training of Foundation Models for High-Frequency Trading

• arxiv url: http://arxiv.org/abs/2610.25604v1
• Date: Mon, 19 Oct 2026 00:15:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:58.407809
• Title: Adversarial Post-Training of Foundation Models for High-Frequency Trading
• Title（参考訳）: 高周波トレーディングのためのファンデーションモデルの適応的後評価
• Abstract要約: 本稿では,Wasserstein Generative Adversarial Network (GAN) を用いたLOB基礎モデルのポストトレーニング手法を提案する。 EGGROLL(Evolution Guided GeneRal optimization via Low-rank Learning)はメモリ効率のよい進化戦略である。 競合するポストトレーニングも安価で、5000万以上のトレーニングトークンと1シードあたり12GPU時間が必要です。
• 参考スコア（独自算出の注目度）: 40.637575086458135
• License:
• Abstract: While autoregressive foundation models trained on limit order book (LOB) data show state-of-the-art performance for market simulation, pre-training with cross-entropy neither penalizes the compounding of sampling errors over free-running rollouts nor targets desired market properties. We introduce a post-training method for LOB foundation models using a Wasserstein generative adversarial network (GAN) objective. A critic, trained online on rollouts through the true, non-differentiable matching engine, guides updates from evolution strategies over rank-4 LoRA perturbations of the pre-trained generator, under a KL trust region. For efficiency, we use EGGROLL (Evolution Guided GeneRal Optimisation via Low-rank Learning), a memory-efficient variant of evolution strategies. On a held-out panel, adversarial post-training improves LOB-Bench realism by 17.6% (WS-21) and 17.0% (Mean-$L_1$), while selection-matched random-perturbation and compute-matched continued-pre-training controls yield no improvement. Post-training is thus a necessary stage that more pre-training does not replace. Per-position divergence measurements show that it slows error accumulation over 500-message rollouts from $3.1\times$ to $2.3\times$. Adversarial post-training is also inexpensive, requiring under 50M training tokens and 12 GPU-hours per seed, three orders of magnitude below the 48B-token pre-training budget. Ablations over critic inputs, optimizers, and the population-rollout trade-off, together with an analysis of reward hacking, yield practical design guidelines for adversarial post-training.
• Abstract（参考訳）: 制限順序帳(LOB)データに基づいてトレーニングされた自己回帰的基礎モデルは、市場シミュレーションの最先端性能を示すが、クロスエントロピーによる事前トレーニングは、フリーランロールアウトに対するサンプリングエラーの複合化や、望ましい市場特性の標的にもならない。 本稿では,Wasserstein Generative Adversarial Network (GAN) を用いたLOB基礎モデルのポストトレーニング手法を提案する。 真の、微分不可能なマッチングエンジンによるオンラインロールアウトのトレーニングを受けた批評家は、KL信頼領域の下で、事前訓練されたジェネレータのLoRA摂動のランク4上の進化戦略からの更新をガイドする。 効率の面では、メモリ効率のよい進化戦略であるEGGROLL(Evolution Guided GeneRal Optimisation via Low-rank Learning)を用いる。 ホールドアウトパネルでは、敵対的なポストトレーニングがLOB-Benchリアリズムを17.6%(WS-21)と17.0%(Mean-$L_1$)改善し、選択整合ランダム摂動と計算整合連続事前トレーニング制御は改善しない。 したがって、事前訓練が置き換えられなくなるためには、ポストトレーニングが必須の段階である。 位置毎のばらつき測定は500メッセージのロールアウトでエラーの蓄積を3.1\times$から2.3\times$に遅くすることを示している。 競合するポストトレーニングも安価で、5000万以上のトレーニングトークンと1シードあたり12GPU時間が必要で、48Bの事前トレーニング予算より3桁低い。 批判的なインプット、オプティマイザ、人口移動トレードオフに対する非難、および報酬ハッキングの分析は、敵のポストトレーニングのための実用的なデザインガイドラインをもたらす。

関連論文リスト

• Trust-Calibrated VLA Policy Post-Training with Evolving Imagination [60.998903003181006]
  既存の改善パラダイムは信頼性と効率性の緊張を露呈する。 本稿では,モデル進化強化学習(MERL, Model-Evolving Reinforcement Learning)を提案する。 摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリー制御よりも10.9%の高閾値学習速度を向上し、同じプロトコール外部ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-12T10:08:28Z)
• Adaptive Rollout Truncation Based on Epistemic Uncertainty for Efficient Offline World Model Training [1.376408511310322]
  マルチステップ自己回帰学習は、長距離予測を改善するが、固定されたロールアウト水平線は計算コストを増大させる。 本稿では,オフライン世界モデルトレーニングのための適応的なロールアウト戦略を提案する。 ANYmal-DとANTの実験では、アンサンブルに基づく適応的トランケーションが一致し、固定水平トレーニングの予測精度が向上することが示された。
  論文  参考訳（メタデータ） (2026-09-18T08:32:34Z)
• When to Retrain: An Empirical Study of Retraining Policies for Streaming ML Under Concept Drift, Budget, and Latency Constraints [0.0]
  再訓練は費用がかかり、再訓練予算は有限であり、再訓練されたモデルが即座に効果を発揮できない。 本研究は,非リトレーニングベースラインに対する3つの実用的モデル更新ポリシーに関する実証的研究である。 最も連続的な設計決定は、再訓練方針ではなく、デプロイされたモデルが漸進的に学習するかどうかである。
  論文  参考訳（メタデータ） (2026-08-19T22:50:46Z)
• ADORN: Adaptive Drift handling for Open RAN using Reinforcement Learning [0.9577207941409713]
  Open Radio Access Networks (O-RAN) の動的トラフィック変動はドリフトにつながる。 従来のリトレーニング手法では予測精度は維持されるが、計算コストが高い。 本研究は,マルコフ決定過程として再学習決定を定式化するQラーニングに基づく適応的再学習手法を提案する。
  論文  参考訳（メタデータ） (2026-07-09T13:05:42Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Koopman-based surrogate modeling for reinforcement-learning-control of Rayleigh-Benard convection [0.8594140167290097]
  線形リカレントオートエンコーダネットワーク(LRAN)を用いて2次元レイリー・ベナード対流のRL制御を高速化する。 我々は、ランダムな行動によって生成された事前計算データに基づいて訓練されたサロゲートと、進化するポリシーから収集されたデータを用いて反復的に訓練されたポリシー対応サロゲートの2つのトレーニング戦略を評価する。 以上の結果から,サロゲートのみのトレーニングが制御性能の低下につながる一方で,サロゲートとDNSを併用することで,トレーニング時間を40%以上削減しつつ,最先端のパフォーマンスを回復できることがわかった。
  論文  参考訳（メタデータ） (2026-03-30T06:23:03Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Outlier-Safe Pre-Training for Robust 4-Bit Quantization of Large Language Models [15.218318229687242]
  大規模言語モデルにおける極端なアクティベーションアウトレイアは量子化性能を著しく低下させる。 生成を積極的に防止する実用的なガイドラインであるOutlier-Safe Pre-Training (OSP)を紹介した。 我々の研究は、アウトリーチはLLMに固有のものではなく、トレーニング戦略の結果であることを示した。
  論文  参考訳（メタデータ） (2025-06-24T15:03:57Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。