論文の概要: FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
- arxiv url: http://arxiv.org/abs/2611.07464v1
- Date: Thu, 05 Nov 2026 05:19:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.553921
- Title: FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
- Title（参考訳）: FINCOSMOS:金融エージェントのためのオープンワールド評価パラダイム
- Abstract要約: FINCOSMOSは、金融業務を行うエージェントのためのオープンワールド評価パラダイムである。
シミュレーションされたユーザは、合成文法からサンプリングされた隠れ戦略を保持し、要求された場合にのみ公開する。
実行は、ユーザが満足し、15のvetoチェックがフェールしない場合にのみ受け入れられる。
- 参考スコア（独自算出の注目度）: 43.65159120844752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language agents increasingly work for users on the open Web, and finance is where trusting them is hardest. The data must come from the Web, the strategy lives in the user's head, and correctness depends on time, so an agent can fail silently: a strategy the user never asked for, unverified data, or a backtest that uses the future yields a report as convincing as a correct one. Existing benchmarks close the world somewhere, fixing the task, the data, or the timeline, and thereby remove these failures instead of measuring them. We introduce FINCOSMOS, an open-world evaluation paradigm for agents doing financial work. A simulated user holds a hidden strategy sampled from a compositional grammar and reveals it only when asked. The agent receives no data, so it must acquire data from the Web, build its own backtest under a data cutoff, and deliver verifiable results. Grading needs no reference answer. Programs verify point-in-time correctness and recompute every reported metric, the delivered strategy is checked against the hidden specification, and a run is accepted only when the user is satisfied and none of 15 veto checks fails. Across four coding agents and a model without tools in 150 sessions, no session is accepted: every session that the simulated user signed off fails a program check, and agents raise only 54--64\% of the details they were not told. Human experts attribute 88.33\% of failures to the agents. With FINCOSMOS feedback, an agent with persistent memory learned all ten tasks.
- Abstract（参考訳）: 言語エージェントはオープンウェブのユーザーのためにますます働き、金融は彼らを信頼することが最も難しい場所である。
データはWebから得られなければならず、戦略はユーザの頭の中に存在し、正確性は時間に依存するため、エージェントは黙秘的に失敗する可能性がある。
既存のベンチマークは、タスク、データ、タイムラインをどこかでクローズし、測定する代わりにこれらの障害を取り除く。
金融業務を行うエージェントのためのオープンワールド評価パラダイムであるFINCOSMOSを紹介する。
シミュレーションされたユーザは、合成文法からサンプリングされた隠れ戦略を保持し、要求された場合にのみ公開する。
エージェントはデータを受け取らないため、Webからデータを取得し、データ遮断の下で独自のバックテストを構築し、検証可能な結果を提供する必要がある。
グレーディングは参照応答を必要としない。
プログラムはポイント・イン・タイムの正当性を検証し、レポートされたすべてのメトリックを再計算し、配信された戦略を隠された仕様に対してチェックし、ユーザが満足して15のvetoチェックが失敗すると実行が受け入れられる。
シミュレーションされたユーザがサインオフしたすべてのセッションはプログラムチェックに失敗し、エージェントは指示されていない詳細の54-64\%しか集めない。
人間の専門家は88.33 %の失敗をエージェントに報告している。
FINCOSMOSのフィードバックにより、永続メモリを持つエージェントは10タスクすべてを学んだ。
関連論文リスト
- UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training [0.3757813713418657]
現在のベンチマークはエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-benchファミリ上の評価層であるUser ProxyBenchと,ベンチマークのプライベートユーザ命令への準拠性を測定するUser Fidelity Score(UFS)を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザプロキシだけを変更すると、タスク報酬の平均15.2ポイントが変更され、成功エピソードの24.4%がユーザ特定違反を含んでいることがわかった。
論文 参考訳（メタデータ） (2026-09-29T17:17:24Z) - Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology [10.411056951115214]
分析エージェントのエンドツーエンド評価手法を提案する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-28T20:57:45Z) - Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents [2.9512821350868754]
我々は、ステートフル境界を発見し、強調するブラックボックステスティングフレームワークであるAgentEvalを提案する。
盲目的にプロンプトする代わりに、AgentEvalはこのグラフの構造を使って特定のガードと前提条件をテストターゲットとして列挙する。
我々はAgentEvalを、エージェントの基盤となるソースコードにアクセス可能な特権付きホワイトボックス監査者に対してベンチマークします。
論文 参考訳（メタデータ） (2026-07-08T00:11:41Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis [3.3237915628874632]
効果的なエージェント評価は、会話の質、効率性、およびエージェントエラーの体系的診断を取り入れて、正確性のみに留まらないと論じる。
エージェントの旋回効率と中間進捗を両立させる新しい指標を提案する。
TEDフレームワークは、モデルとユーザの専門知識レベルをまたいだエージェントパフォーマンスに関する新たな洞察を明らかにします。
論文 参考訳（メタデータ） (2026-03-16T16:14:28Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。