論文の概要: OpenPM: Auditable Point-in-Time Evaluation for LLM Portfolio-Management Agents
- arxiv url: http://arxiv.org/abs/2608.09988v1
- Date: Thu, 06 Aug 2026 16:04:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.74151
- Title: OpenPM: Auditable Point-in-Time Evaluation for LLM Portfolio-Management Agents
- Title(参考訳): OpenPM: LLMポートフォリオ管理エージェントの可聴性ポイントインタイム評価
- Abstract要約: ポートフォリオ管理エージェントのための監査可能なポイントインタイム評価フレームワークであるOpenPMを提案する。
OpenPMでは、エージェントが5分間隔で市場データを使用して、S&P 500宇宙上の100万ドルの長編書籍を管理する。
各ランは、汚染証明書、コスト感受性曲線、制約順守レポートを含む監査アーティファクトを生成する。
- 参考スコア(独自算出の注目度): 39.82139666997448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used to read markets, assess risk, and allocate capital. However, reported results for LLM trading agents can be inflated by look-ahead leakage, optimistic execution, and risk mandates that are described but not enforced. We present OpenPM, an auditable point-in-time evaluation framework for LLM portfolio-management agents. In OpenPM, an agent manages a \$1M long-only book over the S\&P 500 universe using market data at five-minute intervals. Every record visible to the agent must be available at the decision time. Natural-language risk mandates are converted into typed constraints and enforced on the executed portfolio. Each run produces audit artifacts, including a contamination certificate, a cost-sensitivity curve, and a constraint-adherence report. We also build a reference agent named the tiered allocator, where typed analysts score candidates, a constructor LLM proposes weights, and a deterministic critic guarantees feasibility. We isolate constructor behavior by capturing analyst evidence once and replaying it across constructor models. In our short-window case study, stronger constructors show modest and model-dependent gains over equal weighting on the same pool, but analyst quality matters more than constructor choice, and turnover is the main cost driver. All returns are upper bounds on a single frozen window without market impact, not validated alpha.
- Abstract(参考訳): 大規模な言語モデルは、市場を読み、リスクを評価し、資本を割り当てるためにますます使われています。
しかし, LLMトレーディングエージェントの報告結果は, 先行リーク, 楽観的実行, 実施されていないリスク管理によって膨らませることができる。
LLMポートフォリオ管理エージェントのための監査可能なポイントインタイム評価フレームワークであるOpenPMを提案する。
OpenPMでは、エージェントが5分間隔で市場データを使用してS\&P 500宇宙上で100万ドル以上の長編本を管理する。
エージェントに表示されるすべてのレコードは、決定時に利用できなければならない。
自然言語のリスク管理は型付き制約に変換され、実行されたポートフォリオに強制される。
各ランは、汚染証明書、コスト感受性曲線、制約順守レポートを含む監査アーティファクトを生成する。
また、タインドアロケータと呼ばれる参照エージェントを構築し、型付きアナリストが候補を採点し、コンストラクタ LLM が重みを提案し、決定論的批評家が実現可能性を保証する。
我々は、分析的証拠を一度捉えて、コンストラクタモデル間で再生することで、コンストラクタの挙動を分離する。
短時間のケーススタディでは、強いコンストラクタは同じプール上で同じ重み付けよりも穏やかでモデル依存的なゲインを示すが、アナリストの品質はコンストラクタの選択よりも重要であり、ターンオーバーが主なコストドライバである。
すべてのリターンは、市場への影響のない単一の凍結ウィンドウ上の上限であり、検証されたアルファではない。
関連論文リスト
- CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents [0.9924185669370708]
CLQTはクローズドループ取引の評価をランキングではなく診断として再設定する。
CLQTは、完全にクローズドループで、コストを意識し、戦略に一貫性があり、時間的に制限された環境である。
論文 参考訳(メタデータ) (2026-06-29T04:26:30Z) - Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。
BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。
そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
論文 参考訳(メタデータ) (2026-06-04T14:48:23Z) - From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets [34.699961175708815]
KTD-Finは、エンドツーエンドの株式市場トレーディングベンチマークである。
歴史的市場記憶と投資決定を分離する。
Barraスタイルのパフォーマンス属性フレームワークが組み込まれている。
論文 参考訳(メタデータ) (2026-05-27T11:57:10Z) - The Alpha Illusion: Reported Alpha from LLM Trading Agents Should Not Be Treated as Deployment Evidence [23.772113719172896]
エンド・ツー・エンドのLLMトレーディングエージェントからのシャープ比率の報告は、配備証拠として扱われてはならない。
レポートの堅牢性はトレーダブルな確率ではなく、物語の推論は数値的な実行ではない。
論文 参考訳(メタデータ) (2026-05-16T09:14:35Z) - ValueBlindBench: Agreement-Gated Stress Testing of LLM-Judged Investment Rationales Before Returns Are Observable [1.8689252029357564]
本稿では,事前登録された合意付きストレステストプロトコルであるValueBlindBenchを紹介する。
ValueBlindBench は LLM-judged Investment-rationale のクレームがパブリッシュ可能、資格あり、無効かを決定する。
論文 参考訳(メタデータ) (2026-04-28T05:04:20Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳(メタデータ) (2026-03-28T18:03:32Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳(メタデータ) (2025-11-09T03:38:29Z) - Standard Benchmarks Fail - Auditing LLM Agents in Finance Must Prioritize Risk [31.43947127076459]
標準ベンチマークでは、大規模言語モデル(LLM)エージェントが金融面でどれだけうまく機能するかを定めているが、デプロイの安全性についてはほとんど語っていない。
我々は、精度の指標とリターンベースのスコアが、幻覚的な事実、古いデータ、敵の迅速な操作などの脆弱性を見渡すことで、信頼性の錯覚をもたらすと論じている。
論文 参考訳(メタデータ) (2025-02-21T12:56:15Z) - Empowering Many, Biasing a Few: Generalist Credit Scoring through Large
Language Models [53.620827459684094]
大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。
クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。
そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
論文 参考訳(メタデータ) (2023-10-01T03:50:34Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳(メタデータ) (2023-08-25T14:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。