論文の概要: CrashGym: Measuring the Decision Value of Experimentation for LLM Agents in Counterfactual Market Crashes
- arxiv url: http://arxiv.org/abs/2610.29245v1
- Date: Wed, 21 Oct 2026 05:51:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.252251
- Title: CrashGym: Measuring the Decision Value of Experimentation for LLM Agents in Counterfactual Market Crashes
- Title（参考訳）: CrashGym:非現実的市場危機におけるLSMエージェントの実験値の測定
- Abstract要約: CrashGymは、エージェントが破壊的な介入と、衝撃的な事故に遭おうとする市場の流動性のバックストップを選択しなければならないリミテッドオーダーブックシミュレータである。
その選択は、シミュレータが実行可能なすべての介入を実行する独立にシードされたターゲット実現に基づいて得られる。
最良の介入に対する回帰は、人間やモデルに基づく判断なしで、同じターゲットのリピートで全ての選択肢を直接シミュレートすることで計算される。
- 参考スコア（独自算出の注目度）: 13.164202947672756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-model agents are increasingly asked to run experiments, yet benchmarks rarely measure whether those experiments improve the decisions they are meant to inform. We introduce CrashGym, a deterministic, replayable limit-order-book simulator in which an agent must choose between a deleveraging intervention and a liquidity backstop for a market about to suffer a shock-triggered crash. Before committing, the agent may query intervention experiments in a laboratory realization of the market. Its choice is then scored on an independently seeded target realization in which the simulator executes every feasible intervention, so regret relative to the best intervention is computed by directly simulating every alternative on the same target repeats, with no human or model-based judging. The simulator implements each amplification channel---persistent price impact, liquidity withdrawal, margin-driven liquidation, and an evolving strategy mix---as an explicit mechanism that can be switched on in stages. In a prospectively specified study on 24 newly sampled worlds, laboratory access reduces the mean regret of the one deployment with a complete record (Luna) from 8.878 to 3.785, a paired reduction of 5.092 utility units (nominal 95% world-bootstrap interval: 1.028--9.507), or 57.4% of the OBSERVE-ONLY mean. Prospective comparisons for two further deployments are incomplete; in a separate exploratory study, mean regret is lower with laboratory access for all four deployments evaluated. A laboratory whose strategy mix evolves endogenously yields no established advantage over one with a fixed mix. CrashGym thus measures the value of experimentation as avoided decision loss and lets simulator detail be judged by the decisions it supports.
- Abstract（参考訳）: 言語モデルエージェントはますます実験を行うように求められているが、これらの実験が通知する決定を改善するかどうかをベンチマークで測定することはめったにない。
我々はCrashGymを紹介した。CrashGymは決定論的でリプレイ可能なリミテッドオーダーブックシミュレータで、エージェントは、破壊的な介入と、衝撃的な事故に遭おうとする市場のための流動性バックストップを選択せざるを得ない。
コミットする前に、エージェントは市場の実験室で介入実験をクエリすることができる。
その選択は、シミュレータがすべての実行可能な介入を実行する独立にシードされたターゲット実現に基づいて評価されるので、最良の介入に対する後悔は、人間やモデルに基づく判断なしで、同じターゲットリピートで全ての選択肢を直接シミュレートすることで計算される。
シミュレーターは、それぞれの増幅チャネル、持続的な価格影響、流動性離脱、マージン駆動の流動化、そしてステージ上で切り替えられる明示的なメカニズムとして、進化する戦略ミックスを実装している。
24個の新たにサンプリングされた世界の前向きな調査で、実験室のアクセスは、完全な記録(Luna)による1回の配備の後悔を8.878から3.785に減らし、それぞれ5.092のユーティリティユニット(95%の世界ブートストラップ間隔:1.028--9.507)、または57.4%のOBSERVE-ONLY平均を減らした。
予備的な2つの展開の比較は不完全であり、別の調査では、実験室へのアクセスが評価された4つの展開すべてに対して、後悔は低い。
戦略混合が不均一に進化する実験室は、固定混合により確立された優位性を得ることはない。
これにより、CrashGymは、実験の価値を意思決定の損失を避けるものとして測定し、シミュレータの詳細をそれをサポートする決定によって判断する。
関連論文リスト
- VeriVLA: Adaptive Test-Time Verification for Flow-Based VLAs with Latent World Models [50.77784979595945]
トレーニング不要な2軸トリガを導入し,時間内変動とサンプル間のばらつきを測定した。
一度起動すると、JEPAベースの潜在世界モデルは、アクション条件付き将来の潜在状態を予測することによって、候補アクションチャンクをランク付けする。
提案手法は, 平均完了スコアを50.8%から65.5%に引き上げると同時に, トリガ決定毎のサンプリングと検証に326msを加算する。
論文 参考訳（メタデータ） (2026-10-15T14:34:44Z) - JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。
本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
論文 参考訳（メタデータ） (2026-10-14T04:59:45Z) - Intervention anchors and scientific verification in synthetic vascular predictive representations [10.439532348359288]
本稿では,血管装置-血管適合性に基づく数学的および合成監査について述べる。
64種にまたがる6つの3次元構成は6.7e-15の最大対差を与えた。
576件の障害実行はすべて完了したが、それぞれが少なくとも1件の再構築、予測、配信・編集、スコープ契約に違反した。
論文 参考訳（メタデータ） (2026-10-08T11:10:56Z) - Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。
このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。
パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
論文 参考訳（メタデータ） (2026-09-22T03:57:30Z) - Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints [0.0]
我々は、同じ決定がロール微分マルチエージェントパイプラインに分散されたとき、バイアスに何が起こるかを研究する。
2つの条件の間に偏りが生じる頻度について、測定可能な違いは見つからない。
バイアスが捕捉されるかどうかに監査能力が大きな、そして重大な影響を与えることが分かっています。
論文 参考訳（メタデータ） (2026-08-07T08:25:53Z) - Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation [1.4180331276028662]
A/Bテストは、テクノロジ業界における新機能の標準であり続けている。
AIエージェントは、行動プロファイルと介入のコンテキスト記述に基づいて、--- 実際のトラフィックをコミットする前に、候補者の処置を精査するのに十分な結果をシミュレートできますか?
我々は,この問題をEmphSimulated Randomized Controlled Trial (S-RCT) として定式化し,エージェント近似誤差をサブサンプリング誤差から分離する2層誤差分解を導出する。
論文 参考訳（メタデータ） (2026-08-03T14:58:06Z) - Mind the Sim-to-Real Gap & Think Like a Scientist [44.54570296032634]
我々は,シミュレータを実験で補うべき時期と方法について検討する。
我々はシミュレーション支援実験政策であるFisher-SEPを提案する。
論文 参考訳（メタデータ） (2026-05-20T17:48:14Z) - Improving reproducibility by controlling random seed stability in machine learning based estimation via bagging [46.13729826261035]
機械学習アルゴリズムからの予測はランダムな種によって異なり、下流の偏りのある機械学習推定器の不安定性を引き起こす。
我々は,濃度条件によってランダムな種子の安定性を定式化し,任意の境界出力回帰アルゴリズムに対するサブバッグリングが安定性を保証することを証明した。
そこで我々は,新しいクロスフィット方式である適応型クロスバッグ方式を導入し,ニュアンス推定とサンプル分割の両方から種子依存を同時に除去する。
論文 参考訳（メタデータ） (2026-04-20T01:15:23Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - Prediction-Powered Causal Inferences [59.98498488132307]
予測型因果推論(PPCI)に焦点をあてる
まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。
次に、実験間での十分な表現制約伝達の妥当性を導入する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。