論文の概要: FinCUABuild: Can Agents Build Reliable Benchmarks for Dynamic Financial Computer Use?

• arxiv url: http://arxiv.org/abs/2609.07603v1
• Date: Mon, 07 Sep 2026 15:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.453034
• Title: FinCUABuild: Can Agents Build Reliable Benchmarks for Dynamic Financial Computer Use?
• Title（参考訳）: FinCUABuild: エージェントは動的金融コンピュータ使用のための信頼性の高いベンチマークを構築することができるか?
• Abstract要約: FinCUABuildBenchは、金融CUAタスク構築を評価するためのベンチマークである。 FinCUABuildAgentは動的財務CUA評価タスクを自動構築するマルチエージェントシステムである。
• 参考スコア（独自算出の注目度）: 52.86361055342659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial scenarios are diverse and complex, spanning varying data conditions, tool configurations, and workflows. Yet existing CUA, Computer-Using Agent, evaluation tasks remain largely manually constructed, limiting scalable coverage of real-world financial scenarios. Then, can agents autonomously construct diverse CUA evaluation tasks for financial scenarios? Evaluating this capability poses three key challenges: scenario coverage of construction requests, fair comparison across construction methods, and reliable assessment of generated task quality. To solve these, we introduce FinCUABuildBench, a benchmark for evaluating financial CUA task construction, featuring: (i) 576 construction requests covering 24 financial workflows and three types of runtime variation; (ii) standardized input, budget, and output specifications; and (iii) a task qualification mechanism based on execution tests and quality checks. We further introduce FinCUABuildAgent, a multi-agent system for automatically constructing dynamic financial CUA evaluation tasks. It consists of three modules that jointly construct tasks, environments, and validators. On FinCUABuildBench, under the same model backbone, existing agent-based construction methods achieve strict qualification rates of only 1.3-8.3%, while FinCUABuildAgent reaches 31.3%. Downstream evaluations further show that the constructed tasks can effectively differentiate CUA task-execution capabilities. These results demonstrate that agents can autonomously construct financial CUA tasks with meaningful evaluation value, offering a practical path toward broader evaluation coverage in financial scenarios. Code: https://github.com/FengxianJi/FinCUABuild
• Abstract（参考訳）: 財務シナリオは多様で複雑で、さまざまなデータ条件、ツール構成、ワークフローにまたがる。 しかし、既存のCUAであるComputer-Using Agentでは、評価タスクはほとんど手作業で構築されており、実際の金融シナリオのスケーラブルなカバレッジを制限している。 そして、エージェントは金融シナリオのための多様なCUA評価タスクを自律的に構築できるのか? この能力を評価することは、建設要求のシナリオカバレッジ、建設方法の公正比較、生成したタスク品質の信頼性評価という3つの大きな課題をもたらす。 これらの問題を解決するために、金融CUAタスク構築を評価するベンチマークであるFinCUABuildBenchを紹介します。 (i)24の金融ワークフローと3種類の実行時変動を含む576の工事要求 二 標準入力、予算及び出力仕様 三 実施試験及び品質チェックに基づく課題適格化機構 さらに,動的財務CUA評価タスクを自動構築するマルチエージェントシステムであるFinCUABuildAgentを紹介する。 タスク、環境、バリデータを共同で構築する3つのモジュールで構成されている。 FinCUABuildBenchでは、同じモデルバックボーンの下で、既存のエージェントベースの建設手法は1.3-8.3%、FinCUABuildAgentは31.3%である。 下流評価では、構築されたタスクがCUAタスク実行能力を効果的に区別できることが示されている。 これらの結果から,エージェントは有意義な評価値で財務CUAタスクを自律的に構築でき,財務シナリオにおける広範な評価対象への実践的な道筋が示される。 コード:https://github.com/FengxianJi/FinCUABuild

関連論文リスト

• DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
  我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。 結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。 これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
  論文  参考訳（メタデータ） (2026-08-27T02:36:23Z)
• FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance [0.0]
  本稿では,251のエキスパートアノテートクエリを含むForce-Benchを紹介し,キャリブレーションベースのフレームワークを用いて応答を評価する。 FORCE-Benchは、金融義務研究、金融エンティティパフォーマンス研究、ビジネスブリーフジェネレーションの3つのタスクタイプでエージェントシステムを評価する。 我々は、再現可能な比較と他の企業財務環境への適応をサポートするために、データセット、ルーリック、ハーネス、分析コードをオープンソースとしてリリースします。
  論文  参考訳（メタデータ） (2026-07-11T01:16:31Z)
• WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance [4.787072076364137]
  フロンティアAIラボは、スプレッドシート全体をスクラッチから構築できるエージェントを開発した。 これは金融において特に重要であり、金融モデリング、予測、シナリオ分析といった中核がスプレッドシートを通じて一般的に行われている。 既存のスプレッドシートベンチマークでは、この高度な能力は測定されず、代わりに質問回答や単一形式の編集に重点を置いている。
  論文  参考訳（メタデータ） (2026-05-21T16:06:34Z)
• Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
  代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。 フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。 全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
  論文  参考訳（メタデータ） (2026-05-14T04:30:49Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
  FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。 コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。 76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
  論文  参考訳（メタデータ） (2026-05-06T19:59:51Z)
• Time Series Augmented Generation for Financial Applications [0.10499611180329804]
  本稿では,金融時系列分析のためのエージェントの推論を厳格に評価するための新しい評価手法とベンチマークを提案する。 本手法を我々のフレームワークであるTime Series Augmented Generationを用いた大規模実証研究に適用する。 その結果,幻覚を最小限に抑えることで,ほぼ完璧な道具使用精度を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-21T16:20:59Z)
• FinSight: Towards Real-World Financial Deep Research [68.31086471310773]
  FinSightは、高品質でマルチモーダルな財務報告を作成するための新しいフレームワークである。 プロフェッショナルグレードの可視化を確保するため,反復視覚強調機構を提案する。 2段階のBinging Frameworkは、簡潔な分析セグメントをコヒーレント、引用認識、マルチモーダルレポートに拡張する。
  論文  参考訳（メタデータ） (2025-10-19T14:05:35Z)
• Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance [54.25184684077833]
  構造化されていない財務文書から定量的な洞察を抽出する,効率的でスケーラブルな手法を提案する。 提案システムは,emphExtraction AgentとemphText-to-Agentの2つの特殊エージェントから構成される。
  論文  参考訳（メタデータ） (2025-05-25T15:45:46Z)
• FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows with LLMs [15.230256296815565]
  FinMasterは、金融リテラシー、会計、監査、コンサルティングにおける大規模言語モデル(LLM)の機能を評価するために設計されたベンチマークである。 FinMasterは、FinSim、FinSuite、FinEvalの3つの主要なモジュールで構成されている。 実験では、財務的な推論において重要な能力のギャップが示され、精度は基本的なタスクで90%以上から、複雑なシナリオではわずか37%に低下した。
  論文  参考訳（メタデータ） (2025-05-18T11:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。