論文の概要: Bank-World: A Benchmark for Evaluating Agents on Banking Workflows
- arxiv url: http://arxiv.org/abs/2610.39733v1
- Date: Thu, 29 Oct 2026 09:59:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.072518
- Title: Bank-World: A Benchmark for Evaluating Agents on Banking Workflows
- Title（参考訳）: Bank-World: 銀行業務におけるエージェントの評価ベンチマーク
- Abstract要約: バンク・ワールド(英: Bank-World)は、2つのシミュレートされた機関にまたがる50の銀行業務のベンチマークである。
正しい決定が完了しないことが多いことに気付きます。
Solはシングルターン完了をリードし、Opusは最も観測されたマルチターン完了率を持ち、Grokはより多くのマルチターンタスクで成功するが、一貫性は低い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bank-World is a benchmark of 50 banking tasks across two simulated institutions. Completing banking work requires more than producing the right calculation: agents must reconcile records, obtain permission, execute transactions, and keep instructions and status reports consistent as circumstances change. Bank-World tests these requirements through single-turn assignments and multi-turn interactions with simulated employees who supply information, approve actions, and revise instructions. Grading combines executable checks of recorded actions and state with model judgments of task requirements, including whether valid alternative solutions satisfy them. Across 1,600 attempts by four models, we find that correct decisions often fail to become completed work. Agents charge fees twice, distribute the correct total in incorrect amounts among the recipients, and execute payments while approval is pending. Their strengths also differ: Sol leads single-turn completion, Opus has the highest observed multi-turn completion rate, and Grok succeeds across more multi-turn tasks but less consistently. Bank-World makes these differences inspectable through task-level results and worked examples connecting source evidence, agent decisions, and simulated consequences. We retain the task environments, executable graders, and full trajectories privately to reduce contamination and preserve the benchmark for future evaluations.
- Abstract（参考訳）: バンク・ワールド(英: Bank-World)は、2つのシミュレートされた機関にまたがる50の銀行業務のベンチマークである。
銀行業務の完了には、適切な計算の作成以上のものが必要であり、エージェントは記録の調整、許可の取得、トランザクションの実行、状況の変化に応じて命令とステータスレポートの一貫性を維持する必要がある。
Bank-Worldは、これらの要件をシングルターンの割り当てと、情報の提供、アクションの承認、命令の修正を行うシミュレーションされた従業員とのマルチターンインタラクションを通じてテストする。
グラディングは記録されたアクションと状態の実行可能なチェックとタスク要求のモデル判断を組み合わせる。
4つのモデルによる1,600回の試行で、正しい決定が完了しないことが多いことが分かりました。
エージェントは2回料金を請求し、不正な金額を受信者に分配し、承認が保留されている間に支払いを行う。
Solはシングルターン完了をリードし、Opusは最も観測されたマルチターン完了率を持ち、Grokはより多くのマルチターンタスクで成功するが、一貫性は低い。
Bank-Worldは、これらの違いをタスクレベルの結果を通じて検査可能とし、ソースエビデンス、エージェントの決定、シミュレートされた結果とを結びつける実例を作成している。
我々は,汚染を低減し,将来の評価のためのベンチマークを維持するために,タスク環境,実行可能グレーダ,全軌道をプライベートに維持する。
関連論文リスト
- Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models [68.83033665662025]
Co-Design Benchは、26,314の実際のユーザコーディングセッションにわたる37,463の重複クエリから算出された273のタスクのベンチマークである。
その2つのトラック、ME(Multimodal Editing)とRE(Repository Editing)は、任意の画像、オーディオ、ビデオ、文書入力を含むローカライズされた編集をカバーしている。
タスクは正規化されたリクエストをペアにし、2,331の隠れ専門家認可の受け入れ基準で事前編集可能なアプリケーションを実行する。
論文 参考訳（メタデータ） (2026-10-26T10:10:21Z) - AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳（メタデータ） (2026-10-23T19:46:55Z) - VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
論文 参考訳（メタデータ） (2026-10-19T17:22:36Z) - VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。
オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。
GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
論文 参考訳（メタデータ） (2026-10-19T14:17:33Z) - CXBench: A Benchmark for Process-Compliant LLM Agents in Regulated Customer-Experience Workflows [9.736727028658718]
6つの規制領域にまたがる結果とプロセスコンプライアンスを評価するベンチマークであるベンチを導入する。
各タスクは、顧客の要求、ツールベースの環境、明示的なプロセス要件を組み合わせる。
ハイブリッドグレーダは、注文と権限の決定論的チェックとセマンティック要件の判断を結合する。
論文 参考訳（メタデータ） (2026-10-19T07:46:04Z) - When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows [13.654207263751156]
最近のJevの出現は、意思決定を迅速かつ低コストで行う機会を提供する。
ローカルな貯蓄を効率的にかつ信頼性の高いタスク完了に変換できるかどうかを検討する。
4500件のタスク実行において、タスクの有効性、決定レベルおよびタスクレベルのリソース使用、実行動作を共同で評価する。
論文 参考訳（メタデータ） (2026-10-09T06:45:23Z) - SoK: Decentralized Agent Economic Infrastructure [15.639070351882289]
分散型エージェントエコノミーは、個別に設計されたプロトコルから単一のタスクを構築するようになっている。
ワークフローは各ステップを正しく見ることができ、それでも間違った結果を生み出すことができます。
私たちはエージェントタスクのライフサイクル全体にわたってこの問題を体系化します。
論文 参考訳（メタデータ） (2026-10-01T14:19:21Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。
さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。
14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
論文 参考訳（メタデータ） (2026-06-18T04:43:23Z) - BankerToolBench: Evaluating AI Agents in End-to-End Investment Banking Workflows [12.076413424824679]
既存のAIベンチマークには、プロフェッショナルに対して経済的に意味のある進歩を評価するための忠実さが欠けている。
高価値で労働集約的な職業におけるフロンティアAIエージェントを評価するために、BankerToolBench(BTB)を紹介する。
BTBは、ジュニア・インベストメント・バンカーが定期的に実施するエンドツーエンドの分析成果のオープンソースベンチマークである。
論文 参考訳（メタデータ） (2026-04-13T11:02:32Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。