論文の概要: MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability

• arxiv url: http://arxiv.org/abs/2610.31711v1
• Date: Thu, 22 Oct 2026 02:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.248941
• Title: MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability
• Title（参考訳）: MBABench-2.0: 単純な検証性を超えた金融スプレッドシート構築のためのAIエージェントの評価
• Abstract要約: 101のスプレッドシート構築タスクのベンチマークであるMBABench-2.0を紹介する。 これらのタスクのうち最も難しいのは、3年以上の経験を持つモデラーで33時間かかると見積もられている。 スプレッドシートの精度を超える品質を運用する12のカテゴリにまたがる129の基準を導入する。
• 参考スコア（独自算出の注目度）: 9.518486636805976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spreadsheets are the lingua franca of modern finance, driving valuation, forecast, audit, and many other core workflows of the industry. As LLM agents advance to automate knowledge work, spreadsheet construction is a natural and pertinent testbed. However, most existing spreadsheet benchmarks evaluate agents on fill-in-the-blank style tasks, where an agent performs minor edits in otherwise complete spreadsheets. This protocol fails to capture the most central and time-consuming part of the spreadsheet workflow: the modeling decisions, format design, and sheet layout regular knowledge workers need to toil through to build a workbook from scratch. We introduce MBABench-2.0, a benchmark of 101 original spreadsheet construction tasks, the hardest of which is estimated to take 33 hours for a modeler with 3+ years of experience. Unlike coding or math, where a unit test or a final answer can verify an agent's output, the quality of a financial spreadsheet that concerns readability, maintainability, or auditability, is not so simply verifiable. To holistically evaluate spreadsheet construction, we introduce 129 criteria spanning 12 categories that operationalize quality beyond the accuracy of the spreadsheet. Evaluating over 20 agents across 8 models and 4 harness types, we find that frontier agents rarely construct spreadsheets that are both accurate and meet our quality criteria: the top agent achieves a pass rate of only 16% on the benchmark. The benchmark demonstrates a substantial gap in spreadsheet building capability of current agents.
• Abstract（参考訳）: スプレッドシートは現代の金融の言語であり、バリュエーション、予測、監査、その他多くの業界の中核的なワークフローを推進している。 LLMエージェントが知識作業を自動化するために進むにつれて、スプレッドシートの構築は自然で関連するテストベッドである。 しかしながら、ほとんどの既存のスプレッドシートベンチマークでは、エージェントが小さな編集を完了したスプレッドシートで実行する、ブランク式タスクのエージェントを評価している。 このプロトコルは、スプレッドシートワークフローの最も中心的で時間を要する部分、すなわち、モデリング決定、フォーマット設計、およびシートレイアウトの正規知識労働者が、スクラッチからワークブックを構築するのに苦労する。 MBABench-2.0は、101のスプレッドシート構築タスクのベンチマークであり、最も難しいのは3年以上の経験を持つモデラーで33時間かかると見積もられている。 単体テストや最終答がエージェントの出力を検証できるコーディングや数学とは異なり、可読性、保守性、監査性に関する財務スプレッドシートの品質は、必ずしも検証できない。 スプレッドシートの構成を全体評価するために,スプレッドシートの精度を超える品質を運用する12のカテゴリにまたがる129の基準を導入する。 8つのモデルと4つのハーネスタイプにまたがる20以上のエージェントを評価すると、フロンティアエージェントが精度と品質基準の両方を満たすスプレッドシートを構築することは滅多にないことがわかった。 ベンチマークでは、現在のエージェントのスプレッドシート構築能力にかなりのギャップが示されている。

関連論文リスト

• AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
  エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
  論文  参考訳（メタデータ） (2026-09-28T12:24:21Z)
• SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows [14.11925465537949]
  スプレッドシートエージェントの分類レベルベンチマークであるtextscSpreadsheetBench 2 を紹介する。 このベンチマークは、財務報告や企業書類を含む、本物のビジネスデータから構築されている。 その結果、現在のシステムは現実世界での使用には程遠いことが判明した。
  論文  参考訳（メタデータ） (2026-06-29T08:33:52Z)
• WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance [4.787072076364137]
  フロンティアAIラボは、スプレッドシート全体をスクラッチから構築できるエージェントを開発した。 これは金融において特に重要であり、金融モデリング、予測、シナリオ分析といった中核がスプレッドシートを通じて一般的に行われている。 既存のスプレッドシートベンチマークでは、この高度な能力は測定されず、代わりに質問回答や単一形式の編集に重点を置いている。
  論文  参考訳（メタデータ） (2026-05-21T16:06:34Z)
• Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning [24.547778017752847]
  Spreadsheet-RLは、Microsoft Excel環境内で、特殊なスプレッドシートエージェントをトレーニングするために設計された強化学習フレームワークである。 本研究では,スプレッドシート-RLにより,汎用タスクとドメイン固有のスプレッドシートタスクの両方において,AIエージェントのパフォーマンスが大幅に向上することを示す。 結果は、スプレッドシート自動化におけるスプレッドシート-RLの一般化と現実的な採用の強い可能性を強調している。
  論文  参考訳（メタデータ） (2026-05-21T15:47:41Z)
• Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning [43.91509663025854]
  スプレッドシートは、企業報告、監査、科学データ管理といった現実世界のアプリケーションの中心である。 既存の大きな言語モデルベースのアプローチでは、テーブルを平易なテキストとして扱い、重要なレイアウトキューや視覚的意味論を見渡すのが一般的である。 本稿では,ステップバイステップの読み出しと推論のパラダイムを取り入れた,スプレッドシート理解のための2段階のマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T04:47:21Z)
• SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks [8.306042091008957]
  大規模言語モデル (LLM) は、構造化されたアーティファクトの生成と操作のタスクが増えている。 タスク上でモデルのパフォーマンスを評価するプラットフォームであるSpreadsheetArenaを紹介する。 好みのスプレッドシートのスタイラス的,構造的,機能的特徴はユースケースによって大きく異なる。
  論文  参考訳（メタデータ） (2026-02-16T14:24:36Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• SheetAgent: Towards A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models [45.930510174309845]
  大規模言語モデル(LLM)は,最近,スプレッドシートの自動操作のために試みられている。 SheetAgentはPlanner、Informer、Retrieverの3つの共同モジュールで構成されている。 SheetAgentはベースラインよりも複数のベンチマークで20～40%のパスレート改善を実現している。
  論文  参考訳（メタデータ） (2024-03-06T11:48:08Z)
• SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models [60.171444066848856]
  本研究では,スプレッドシートの要求を満たすために自然言語処理と制御を行うスプレッドシートコパイロットエージェントを提案する。 221のスプレッドシート制御タスクを含む代表データセットをキュレートし,完全自動評価パイプラインを構築した。 当社の SheetCopilot は1世代で44.3% のタスクを正しく完了し、強力なコード生成ベースラインを広いマージンで上回っている。
  論文  参考訳（メタデータ） (2023-05-30T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。