論文の概要: Reliable Before Profitable: QuantHarness for Governing Financial Strategy Development with LLM Agents
- arxiv url: http://arxiv.org/abs/2610.26101v1
- Date: Mon, 19 Oct 2026 09:59:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:42:56.539503
- Title: Reliable Before Profitable: QuantHarness for Governing Financial Strategy Development with LLM Agents
- Title(参考訳): LLMエージェントによる金融戦略開発におけるQuantHarnessの信頼性
- Abstract要約: FinRelBenchは、実行の成功、要求満足度、実行時のエビデンスを通じて、戦略開発の信頼性を評価するベンチマークである。
QuantHarnessは、74.23%--84.54%と比較すると、90.72%のタスク成功を達成した。
- 参考スコア(独自算出の注目度): 4.554201703142821
- License:
- Abstract: LLM agents can turn natural-language financial research requests into executable and backtested strategies, but a successful run may still implement the wrong rule, use information unavailable at decision time, or obscure how repairs and candidate selection changed the strategy. Because these failures arise throughout development, final code and performance metrics alone are insufficient to establish either fidelity to the request or the validity of the development process. We therefore address the reliability of financial strategy development at the trajectory level: the system must control how intermediate outputs become downstream state and preserve the evidence needed to justify the terminal outcome. We introduce QuantHarness, a two-layer agent harness in which a finance-specific Workflow structures specification, data grounding, construction, testing, and review, while Harness Core enforces stage-specific information, action, and commitment boundaries. We also introduce FinRelBench, a benchmark that evaluates strategy-development reliability through execution success, requirement satisfaction, and runtime evidence. QuantHarness achieves the highest Task Success at 90.72\%, compared with 74.23\%--84.54\% for the comparison systems. Controlled stress tests show that its boundaries contain targeted violations, while structured run records improve evidence retrieval and support decision replay under the evaluated protocol.
- Abstract(参考訳): LLMエージェントは、自然言語の金融研究要求を実行可能で実証された戦略に変換することができるが、成功すれば、まだ間違ったルールを実装したり、決定時に利用できない情報を使用したり、修復や候補の選択がどのように戦略を変えたのかを曖昧にすることができる。
これらの障害は開発全体を通して発生するため、最終的なコードとパフォーマンスのメトリクスだけでは、要求に対する忠実さや開発プロセスの妥当性を確立するには不十分です。
そこで本研究では,中間出力が下流状態になる方法を制御し,終末結果の正当化に必要な証拠を保存しなければならない。
ファイナンス固有のワークフロー構造仕様、データグラウンディング、構築、テスト、レビュー、そしてHarness Coreがステージ固有の情報、アクション、コミット境界を強制する2層エージェントハーネスであるQuantHarnessを紹介します。
また、FinRelBenchは、実行の成功、要求満足度、実行時のエビデンスを通じて、戦略開発の信頼性を評価するベンチマークである。
QuantHarness は 74.23 %--84.54 % と比較して 90.72 % のタスク成功率を達成している。
制御されたストレステストは、その境界線が対象の違反を含むことを示しているが、構造化された実行記録は、評価されたプロトコルの下で証拠の検索と支援決定の再生を改善する。
関連論文リスト
- Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents [17.24988687989227]
エージェントの軌道の不均一なステップに成功に関する証拠が分散しているため、エージェントの信頼度推定は困難である。
本稿では,エージェントが単一軌道からタスクを遂行する確率を推定する推論時フレームワークであるCRG(Confidence Reasoning Graphs)を紹介する。
CRGは、言語化、サンプリングベース、ホワイトボックスのサロゲートベースラインよりも、より良いキャリブレーションの信頼とリスク認識の意思決定をもたらす。
論文 参考訳(メタデータ) (2026-10-06T08:22:14Z) - MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。
MileGPOは補助モデルも追加の環境相互作用も必要としない。
論文 参考訳(メタデータ) (2026-08-20T08:58:27Z) - A Policy Algebra for Trust-Preserving Agentic AI Execution [5.943264605557423]
本稿では,エージェント能力の行使可能な信頼性エンベロープを定義するポリシー代数を提案する。
この評価は、能力ベンチマークではなく、信頼性と信頼性のトレードオフとして解釈される。
論文 参考訳(メタデータ) (2026-08-17T10:59:15Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳(メタデータ) (2026-08-17T01:40:14Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳(メタデータ) (2026-07-28T17:50:44Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳(メタデータ) (2026-02-03T11:41:02Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳(メタデータ) (2025-11-10T22:24:21Z) - Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。
アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。
対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
論文 参考訳(メタデータ) (2025-10-06T15:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。