論文の概要: What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books

• arxiv url: http://arxiv.org/abs/2610.20104v1
• Date: Wed, 14 Oct 2026 12:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.140672
• Title: What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books
• Title（参考訳）: 市場構造学の基礎モデルは何を学習するか? : 合成限界順序書による制御された研究
• Abstract要約: 我々は,潜在パラメータが知られているシミュレータから,GPTスタイルのモデルを順序流で学習する。 学習された予測は、トークン当たり1ミリナット以内のベイズ最適値と一致する。 実NASDAQデータでは、ゼロショット転送はシミュレーターが実際の流れをいかにうまくカバーするかによって設定される。
• 参考スコア（独自算出の注目度）: 52.171034819111945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive transformers trained on limit order book (LOB) message streams are increasingly proposed as foundation models for market microstructure. Because the generative process of real markets is unknown, these models can be judged only by the realism of their output, leaving open what they actually learn. We make the question answerable by inverting the setup: we train GPT-style models on order flow from simulators whose latent parameters are known, so that the Bayes-optimal predictor, the generating state, and the exact data entropy serve as references. Measured against them, next-token pretraining on order flow implements amortized Bayesian inference over market regimes. The learned predictive matches the exact Bayes optimum to within a millinat per token and approaches the oracle floor even on a nonstationary family whose latent state drifts within an episode, a regime that requires filtering. The latent regime is linearly decodable from frozen activations, well above baselines, so a frozen-model read-out calibrates simulator parameters more accurately than windowed maximum likelihood at a fraction of the cost. In our experiments these capabilities are not produced by scale: capacity and token volume saturate early, and it is the diversity of training regimes, not the token count, that determines generalization to unseen markets. On real NASDAQ data, zero-shot transfer is set by how well the simulator prior covers real flow: an enriched mixture nearly closes the gap to an in-domain baseline, and pretraining beats from-scratch training at every budget across held-out tickers. Known ground truth turns average next-token loss, which is uninformative near the entropy floor, into an exact comparison against the Bayes-optimal and oracle predictors.
• Abstract（参考訳）: リミットオーダーブック(LOB)メッセージストリームで訓練された自己回帰トランスフォーマーは、市場マイクロ構造の基礎モデルとして、ますます提案されている。 実市場の生成過程は未知であるため、これらのモデルは出力のリアリズムによってのみ判断され、実際に学習するものは開放される。 我々は,この設定を逆転して,潜伏パラメータが知られているシミュレータからGPTスタイルのモデルを訓練し,ベイズ最適予測器,生成状態,および正確なデータエントロピーが参照として機能するようにした。 これに対抗して、次段階の秩序流の事前訓練は、市場体制に対するベイズ的推論を償却する。 学習された予測は、トークン当たり1ミリナット以内の正確なベイズと一致し、潜伏状態がエピソード内で漂流する非定常家族でもオラクルフロアに近づく。 潜伏状態は、ベースラインのかなり上にある凍結活性化から線形に退避可能であるので、凍結モデル読み出しキャラブラーは、コストのごく一部でウィンドウ化された最大値よりも正確にパラメータを推定する。 キャパシティとトークンボリュームは早期に飽和しており、トークン数ではなくトレーニング体制の多様性であり、目に見えない市場への一般化を決定する。 実NASDAQデータでは、ゼロショット転送は、シミュレーターが実際のフローをいかにうまくカバーするかによって設定される。 地下の真実は、エントロピーの床の近くでは非形式的である平均的な次トーケンの損失を、ベイズ最適化とオラクル予測とを正確に比較する。

関連論文リスト

• Pretraining Latent Information Feedback Transformers with Teacher Supervision [25.353789004521946]
  本稿では、LIFT(Latent Information Feedback Transformer)アーキテクチャとトレーニング手法を紹介する。 そこで我々は,リカレント・ステート・ラーニングを教師による予測問題に転換し,これを実現した。 135Mから1Bパラメータの事前訓練モデルによる実験は、LIFTが標準トランスフォーマーより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-09-29T17:57:40Z)
• Prior-Amortized In-Context Bayesian Inference for Generalized Linear Mixed-Effects Models [22.95834831696185]
  metabeta(メタベタ)は、GLMMに対する文脈内ベイズ推論を事前に調整したニューラルネットワークである。 連続、バイナリ、カウント結果にまたがる数百万の現実的なシミュレーションデータセットに基づいてトレーニングされている。 後部は全てのパラメータータイプでNUTSのものと密接に一致している。
  論文  参考訳（メタデータ） (2026-09-21T11:15:02Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Value Flows [90.1510269525399]
  本稿では, フローベースモデルを用いて, 将来のリターン分布を推定する。 学習したフローモデルに基づいて、新しいフロー微分ODEを用いて、異なる状態の戻り不確かさを推定する。 ステートベース37ドル、イメージベースのベンチマークタスク25ドルの実験では、バリューフローが平均的な成功率で1.3倍の改善を達成している。
  論文  参考訳（メタデータ） (2025-10-09T00:57:40Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。