論文の概要: The Alpha Illusion: Reported Alpha from LLM Trading Agents Should Not Be Treated as Deployment Evidence
- arxiv url: http://arxiv.org/abs/2605.16895v1
- Date: Sat, 16 May 2026 09:14:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.223896
- Title: The Alpha Illusion: Reported Alpha from LLM Trading Agents Should Not Be Treated as Deployment Evidence
- Title(参考訳): アルファ・イリュージョン:LSMトレーディング・エージェントから報告されたアルファはデプロイの証拠として扱われるべきではない
- Authors: Yuxuan Ye, Jun Han, Ao Hu, Juncheng Bu, Yiyi Chen, Liangjian Wen, Danilo Mandic, Danny Dongning Sun, Xu Yinghui, Zenglin Xu,
- Abstract要約: エンド・ツー・エンドのLLMトレーディングエージェントからのシャープ比率の報告は、配備証拠として扱われてはならない。
レポートの堅牢性はトレーダブルな確率ではなく、物語の推論は数値的な実行ではない。
- 参考スコア(独自算出の注目度): 23.772113719172896
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: End-to-end LLM trading agents have moved quickly from research curiosity to a small ecosystem of named systems, including FinCon, FinMem, TradingAgents, FinAgent, QuantAgent, and FLAG-Trader. Several of these report headline Sharpe ratios that would be material if read at face value on a deployment desk, and associated benchmarks such as FinBen report trading-task Sharpe statistics in the same range. The gap between architecture research and deployment claim has been crossed too freely on both sides of the academia--industry divide. We take a position on that gap: reported alpha from end-to-end LLM trading agents should not be treated as deployment evidence. Before such returns can support claims of deployable trading capability, they must survive structural validity tests for temporal integrity, real-world frictions, counterfactual robustness, predictive calibration, numerical execution, and multi-agent disaggregation. Current public evidence cannot yet distinguish robust predictive ability from temporal contamination, unmodeled frictions, short-window Sharpe uncertainty, narrative fitting, and parametric priors. The problem is not only evaluative but structural. Language confidence is not tradable probability, narrative reasoning is not numerical execution, and model priors may become undisclosed implicit factor exposures. We contribute a minimum reporting protocol suite, P1--P6, with tiered applicability by claim strength, and a conservative modular alternative that uses LLMs as auditable information interfaces upstream of independent calibration, risk, and execution modules. Code and reproduction harness: \url{https://github.com/hj1650782738/Trading}.
- Abstract(参考訳): エンドツーエンドのLLMトレーディングエージェントは、研究好奇心から、FinCon、FinMem、TradingAgents、FinAgent、QuantAgent、FLAG-Traderなど、名前付きシステムの小さなエコシステムへと急速に移行している。
これらのレポートの見出し Sharpe 比は、デプロイデスクの面値で読み取ると重要になるが、FinBen レポート Sharpe の統計値のような関連するベンチマークは、同じ範囲にある。
アーキテクチャ研究とデプロイメントのクレームのギャップは、学界の両側であまりにも自由に越えられてきました。
エンドツーエンドのLLMトレーディングエージェントからの報告は、デプロイメントの証拠として扱うべきではない。
このようなリターンは、デプロイ可能なトレーディング能力のクレームをサポートする前に、時間的完全性、現実世界の摩擦、反ファクト的ロバスト性、予測校正、数値実行、マルチエージェント・デアグリゲーションのための構造的妥当性試験を生き残らなければならない。
現在の公的な証拠は、時間的汚染、非モデル化された摩擦、短い風のシャープの不確実性、物語のフィッティング、パラメトリックの先行性から、堅牢な予測能力をまだ区別できない。
その問題は評価だけでなく構造的でもある。
言語の信頼度はトレーダブルな確率ではなく、物語的推論は数値的な実行ではなく、モデル事前は暗黙的な要因の露呈になるかもしれない。
我々は,最小限のレポーティングプロトコルであるP1-P6をクレーム強度で適用可能とし,独立したキャリブレーション,リスク,実行モジュールの上流にLLMを監査可能な情報インターフェースとして使用する保守的なモジュールの代替として提案する。
コードと再生ハーネス: \url{https://github.com/hj1650782738/Trading}。
関連論文リスト
- When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies [0.30458514384586394]
大規模言語モデル(LLM)は、強化学習(RL)トレーディングエージェントを改善するための連続的な数値的特徴を生成する。
我々は,凍結したLCMがステートレスな特徴抽出器として機能するモジュールパイプラインを構築し,非構造化日報を下流のPPOエージェントが消費する固定次元ベクトルに変換する。
本研究は,分散シフト下での転帰学習における課題と並行して,特徴レベルの妥当性と政策レベルの堅牢性とのギャップを浮き彫りにしている。
論文 参考訳(メタデータ) (2026-04-13T04:53:06Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳(メタデータ) (2026-03-28T18:03:32Z) - Assessing Deanonymization Risks with Stylometry-Assisted LLM Agent [7.598781876494379]
本稿では,非匿名化リスクの評価と軽減を目的としたエージェントを,構造化,解釈可能なパイプラインを通じて導入する。
大規模なニュースデータセットの実験では、$textitSALA$が高い推論精度を実現している。
論文 参考訳(メタデータ) (2026-02-26T15:05:13Z) - Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models? [1.3253687170778101]
ポストホックな説明責任は信用リスクモデルガバナンスの中心である。
本稿では,大規模言語モデル(LLM)が,コンテキスト内学習による信用リスク予測のためのポストホック説明可能性ツールとして機能するかどうかを検討する。
論文 参考訳(メタデータ) (2026-02-21T16:35:06Z) - AlphaForgeBench: Benchmarking End-to-End Trading Strategy Design with Large Language Models [23.493646150407116]
リアルタイム取引性能の現在の評価は、重大な障害モードを見落としている:不確実性の下でのシーケンシャルな意思決定における厳しい行動不安定性である。
提案するAlphaForgeBenchは,大規模言語モデル(LLM)を,実行エージェントではなく定量的研究者として再構成する,原則化されたフレームワークである。
論文 参考訳(メタデータ) (2026-02-10T14:29:33Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳(メタデータ) (2025-04-07T03:57:41Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳(メタデータ) (2024-07-15T23:41:11Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。