論文の概要: BankerToolBench: Evaluating AI Agents in End-to-End Investment Banking Workflows
- arxiv url: http://arxiv.org/abs/2604.11304v1
- Date: Mon, 13 Apr 2026 11:02:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.488496
- Title: BankerToolBench: Evaluating AI Agents in End-to-End Investment Banking Workflows
- Title（参考訳）: BankerToolBench: エンドツーエンドの投資銀行ワークフローにおけるAIエージェントの評価
- Abstract要約: 既存のAIベンチマークには、プロフェッショナルに対して経済的に意味のある進歩を評価するための忠実さが欠けている。
高価値で労働集約的な職業におけるフロンティアAIエージェントを評価するために、BankerToolBench(BTB)を紹介する。
BTBは、ジュニア・インベストメント・バンカーが定期的に実施するエンドツーエンドの分析成果のオープンソースベンチマークである。
- 参考スコア（独自算出の注目度）: 12.076413424824679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing AI benchmarks lack the fidelity to assess economically meaningful progress on professional workflows. To evaluate frontier AI agents in a high-value, labor-intensive profession, we introduce BankerToolBench (BTB): an open-source benchmark of end-to-end analytical workflows routinely performed by junior investment bankers. To develop an ecologically valid benchmark grounded in representative work environments, we collaborated with 502 investment bankers from leading firms. BTB requires agents to execute senior banker requests by navigating data rooms, using industry tools (market data platform, SEC filings database), and generating multi-file deliverables--including Excel financial models, PowerPoint pitch decks, and PDF/Word reports. Completing a BTB task takes bankers up to 21 hours, underscoring the economic stakes of successfully delegating this work to AI. BTB enables automated evaluation of any LLM or agent, scoring deliverables against 100+ rubric criteria defined by veteran investment bankers to capture stakeholder utility. Testing 9 frontier models, we find that even the best-performing model (GPT-5.4) fails nearly half of the rubric criteria and bankers rate 0% of its outputs as client-ready. Our failure analysis reveals key obstacles (such as breakdowns in cross-artifact consistency) and improvement directions for agentic AI in high-stakes professional workflows.
- Abstract（参考訳）: 既存のAIベンチマークには、プロフェッショナルワークフローにおける経済的に意味のある進歩を評価するための忠実さが欠けている。
高価値で労働集約的な専門職におけるフロンティアAIエージェントを評価するために、ジュニア投資銀行が日常的に実施するエンドツーエンド分析ワークフローのオープンソースベンチマークであるBankerToolBench(BTB)を紹介した。
代表的作業環境に根ざした生態学的に有効なベンチマークを開発するため,大手企業からの502人の投資銀行と共同研究を行った。
BTBは、データルームをナビゲートし、業界ツール(市場データプラットフォーム、SECの申請データベース)を使用し、Excelファイナンシャルモデル、PowerPointピッチデッキ、PDF/Wordレポートを含む複数ファイルの成果物を生成することで、上級バンカーの要求を実行する必要がある。
BTBタスクの完了には最大21時間を要する。
BTBは、LLMまたはエージェントの自動評価を可能にし、ベテラン投資銀行がステークホルダーの効用をつかむために定義した100以上のルーリック基準に対して、納品品を評価できる。
9つのフロンティアモデルをテストすると、最高のパフォーマンスモデル(GPT-5.4)でさえルーブリック基準のほぼ半分を失敗し、バンカーはその出力の0%をクライアント対応として評価することがわかった。
当社の障害分析では,クロスアーティファクトの一貫性の低下など)重要な障害と,高度なプロフェッショナルワークフローにおけるエージェントAIの改善方向を明らかにしています。
関連論文リスト
- StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows [63.57092302641323]
textbfStartupBenchは、市場価値の高いAIスタートアップ製品に根ざしたE2Eエージェントベンチマークである。
我々は、AIが現実的な需要を確立した現実的なタスクを特定するために、製品やユーザとともに、AI製品の採用を実証して研究する。
以上の結果から,現在の汎用エージェントの信頼性を超越した,市場価値の高いエージェントが多数存在することが明らかとなった。
論文 参考訳（メタデータ） (2026-08-18T14:01:32Z) - Agents' Last Exam [275.79071391137074]
Agents' Last Exam (ALE)は、AIエージェントを長期的、経済的に価値のある、現実のタスクで検証可能な結果で評価するために設計されたベンチマークである。
ALEは250以上の業界の専門家と共同で開発され、O*NET / SOC 2018を参照して定義された非物理産業をカバーしている。
現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは1%以下である。
論文 参考訳（メタデータ） (2026-06-03T20:20:46Z) - Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning [0.13999481573773073]
Hedge-Bench 1.0は、プロのヘッジファンドアナリストの明確な理由に基づく102件の実際の業務のベンチマークである。
Frontier Model.com/Trata-Inc/trata-hedge-benchでデータセットと評価ハーネスを公開する。
論文 参考訳（メタデータ） (2026-06-02T17:11:56Z) - Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。
フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。
全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
論文 参考訳（メタデータ） (2026-05-14T04:30:49Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。
私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。
実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
論文 参考訳（メタデータ） (2026-02-15T23:12:57Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - UpBench: A Dynamically Evolving Real-World Labor-Market Agentic Benchmark Framework Built for Human-Centric AI [2.0619484032730813]
UpBenchは、グローバルなUpworkの労働市場から引き出された実際の仕事に関するベンチマークだ。
各タスクは検証されたクライアントトランザクションに対応し、実際の作業活動と財務成果の評価をアンロックする。
UpBenchはルーリックベースの評価フレームワークを採用しており、専門家フリーランサーは各ジョブを詳細かつ検証可能な受け入れ基準に分解し、基準ごとのフィードバックでAI申請を評価する。
論文 参考訳（メタデータ） (2025-11-15T17:39:37Z) - Towards Outcome-Oriented, Task-Agnostic Evaluation of AI Agents [1.0305173936249623]
白書では、AIエージェントの成果に基づくタスク非依存のパフォーマンス指標11の新たなフレームワークを提案する。
本稿では、ゴール完了率(GCR)、自律度指数(AIx)、マルチステップタスクレジリエンス(MTR)、ビジネスインパクト効率(BIE)などの指標を紹介する。
この結果から, エージェント設計の相違が顕著であり, ハイブリットエージェントを一貫した高性能モデルとして強調した。
論文 参考訳（メタデータ） (2025-11-11T13:40:46Z) - Anti-Money Laundering Machine Learning Pipelines; A Technical Analysis on Identifying High-risk Bank Clients with Supervised Learning [1.149137041907724]
リスクの高い銀行クライアントを特定するために,機械学習パイプラインを開発するための包括的かつ体系的なアプローチを提案する。
データセットには195,789のIDが含まれており、16ステップの顧客設計と統計分析を採用しました。
パイプラインの動作特性曲線 (AUROC) は0.961であり, 標準偏差 (SD) は0.005であった。
論文 参考訳（メタデータ） (2025-09-11T03:53:10Z) - FinGAIA: A Chinese Benchmark for AI Agents in Real-World Financial Domain [17.682962451679312]
FinGAIAは7つの主要な金融サブドメインにまたがる、細心の注意を払って407のタスクで構成されている。
最高成績のエージェントであるChatGPTは48.9%の精度を達成し、非専門職よりも優れているが、財務の専門家を35パーセント以上遅れている。
論文 参考訳（メタデータ） (2025-07-23T04:19:16Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。