論文の概要: CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents
- arxiv url: http://arxiv.org/abs/2606.29771v1
- Date: Mon, 29 Jun 2026 04:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.039443
- Title: CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents
- Title（参考訳）: CLQT:LCMポートフォリオ管理エージェントの診断評価のための閉ループ・コスト・アウェア・ストラテジー・一貫性ベンチマーク
- Abstract要約: CLQTはクローズドループ取引の評価をランキングではなく診断として再設定する。
CLQTは、完全にクローズドループで、コストを意識し、戦略に一貫性があり、時間的に制限された環境である。
- 参考スコア（独自算出の注目度）: 0.9924185669370708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents are increasingly cast as autonomous portfolio managers, and benchmarks have moved from financial question-answering to sequential trading. Yet most still rank agents by returns over a fixed window -- a weak proxy, since a period's return is dominated by the market path and apparent alpha can dissolve once look-ahead leakage is controlled. Such a ranking certifies neither sound reasoning, nor a consistent strategy, nor a durable edge. We introduce CLQT, which reframes closed-loop trading evaluation as diagnosis rather than ranking: an instrument that localizes where and why an agent's process succeeds or fails. CLQT is a fully closed-loop, cost-aware, strategy-consistent, temporally-gated environment whose agents run a five-stage cycle: gather, synthesize, allocate, execute, reflect. Each round emits a complete DecisionRound sealed into a recompute-verifiable hash chain, so every metric is reconstructable from the trail. Six pillars form the substrate: a hard TimeGate, institutional transaction- and financing-cost modeling, strategy-consistency scoring, three-tier memory, a Model-Context-Protocol tool layer, and mandate-aware synthesis. The same agent runs as a constrained committee of specialized roles or a single full-autonomy orchestrator, making process scaffolding an experimental variable. From the audit trail we compute a five-axis capability scorecard (APM-CS: Coherence, Acuity, Composure, Discipline, Reliability), with Coherence judged partly by a held-out, out-of-cohort LLM to curb self-preference bias. We validate it on a contamination-controlled multi-model backtest with an ablation grid and a live broker track on unseen, post-cutoff data, against a repeated-run noise floor. CLQT separates outcome from capability, yielding not a model ranking but a durable, extensible map of agent competencies and limitations.
- Abstract（参考訳）: LLMエージェントは、自律的なポートフォリオマネージャとしてますます採用され、ベンチマークは財務的な質問応答からシーケンシャルなトレーディングへと移行している。
期間のリターンは市場パスに支配され、ルックアヘッドリークが制御されると、明らかにアルファは解消されるためである。
このようなランク付けは、健全な推論や一貫した戦略、耐久性のあるエッジを証明しない。
CLQTはクローズドループトレーディングの評価をランキングではなく診断として再構成し、エージェントのプロセスが成功するか失敗するかをローカライズする手段である。
CLQTは、完全にクローズドループ、コスト対応、戦略整合性、時間的に制限された環境であり、エージェントは5段階のサイクル(収集、合成、割り当て、実行、反射)を実行する。
各ラウンドは完全なDecisionRoundを再計算で検証可能なハッシュチェーンに封入するので、すべての計量はトレイルから再構成可能である。
6つの柱は、ハードなTimeGate、制度的なトランザクションとファイナンスコストのモデリング、戦略一貫性のスコアリング、3層メモリ、Model-Context-Protocolツール層、Mandate-Aware合成である。
同じエージェントは、特別な役割の制約された委員会として、あるいは単一のフルオートノミーオーケストレータとして動作し、プロセスの足場を実験変数として作成する。
監査パスから5軸能力スコアカード(APM-CS: Coherence, Acuity, Composure, Discipline, Reliability)を計算し、Coherenceは部分的に保留のアウト・オブ・コホートLPMで判断され、自己選好バイアスを抑制する。
繰り返し発生する騒音フロアに対して、アブレーショングリッドとライブブローカートラックを備えた汚染制御型マルチモデルバックテストにおいて、その検証を行う。
CLQTは結果を能力から切り離し、モデルランキングではなく、エージェントの能力と限界の永続的で拡張可能なマップをもたらす。
関連論文リスト
- From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents [12.091072999307622]
ARCOは強化学習のための適応型ルーリックフレームワークである。
強い結果、ルーブリック、プロセス・リワードのベースラインよりも、すべての設定で最高のEMを改善する。
そのルーブリックは、ステップ特異的で、設計上の選択に対して堅牢であり、エージェントの挙動の診断に有用である。
論文 参考訳（メタデータ） (2026-06-19T09:38:02Z) - Certified Policy Optimisation for Nested Causal Bandits via PAC-Bayes Risk [0.0]
問題クラスをNested Contextual Causal Bandits (NCCBs) として定式化する。
我々の主要な理論的結果は、任意のデプロイメントポリシーを認定する因果的PAC-Bayesian過剰リスク境界である。
論文 参考訳（メタデータ） (2026-05-28T11:39:51Z) - TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate [34.67393151003599]
交渉はエージェント言語モデルのための標準的なテストベッドである。
数学やコードとは異なり、本質的な検証がない。
本稿では,環境自体を検証対象とするベイズゲームフレームワークであるTerms-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-13T06:22:50Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - AgenticAITA: A Proof-Of-Concept About Deliberative Multi-Agent Reasoning for Autonomous Trading Systems [0.0]
AgentICAITAはエージェントAIフレームワークで、従来のシグナルを置き換えて、完全に自律的なループでパラダイムを実行する。
このフレームワークは、76の資産にわたる157のゼロ・インターベンション・呼び出しを達成し、デリバティブ・パイプラインの運用上の正しさを示す。
論文 参考訳（メタデータ） (2026-05-01T16:25:43Z) - Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。
統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入
検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
論文 参考訳（メタデータ） (2026-04-08T00:53:29Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Practical RAG Evaluation: A Rarity-Aware Set-Based Metric and Cost-Latency-Quality Trade-offs [0.0]
本稿では,生産型RAGにおける推算ゲームについて述べる。
黄金のセットを構築し、監査するための標準化された再現可能な方法はありません。
Rath-gs (MIT) はプラケット=ルーシがリストワイドに改良したリーン・ゴールデンセットのパイプラインである。
論文 参考訳（メタデータ） (2025-11-12T18:49:21Z) - MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。
MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
論文 参考訳（メタデータ） (2024-12-02T19:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。