論文の概要: SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows

• arxiv url: http://arxiv.org/abs/2606.29955v1
• Date: Mon, 29 Jun 2026 08:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.129617
• Title: SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows
• Title（参考訳）: SpreadsheetBench 2: エンドツーエンドのビジネススプレッドシートワークフローにおけるエージェントの評価
• Abstract要約: スプレッドシートエージェントの分類レベルベンチマークであるtextscSpreadsheetBench 2 を紹介する。 このベンチマークは、財務報告や企業書類を含む、本物のビジネスデータから構築されている。 その結果、現在のシステムは現実世界での使用には程遠いことが判明した。
• 参考スコア（独自算出の注目度）: 14.11925465537949
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Spreadsheets are widely used for business analysis, financial modeling, reporting, and decision-making. However, most existing spreadsheet benchmarks evaluate isolated operations such as single-formula generation or local cell edits, and therefore fail to capture end-to-end workflows in realistic business settings. We introduce \textsc{SpreadsheetBench 2}, a workflow-level benchmark for spreadsheet agents that covers three task categories: generation, debugging, and visualization. The benchmark is constructed from authentic business data, including financial reports and corporate filings, and is annotated and validated by domain experts. The benchmark contains 321 tasks; each instance averages 11.8 worksheets and requires 593.5 cell modifications, reflecting large multi-sheet workbooks with cross-sheet dependencies. We evaluate eight frontier large language models under a unified multi-turn agent scaffold, and additionally include several LLM-based spreadsheet products as complementary baselines. Results show that current systems remain far from reliable on real-world workflows: the best model achieves 34.89\% overall task accuracy, and debugging accuracy is as low as 12.00\%. Trajectory analysis and a failure taxonomy further indicate that insufficient spreadsheet inspection and incorrect target-cell selection are the dominant bottlenecks. Together, these findings position \textsc{SpreadsheetBench 2} as a challenging testbed for advancing reliable spreadsheet automation. Project page: https://spreadsheetbench.github.io/
• Abstract（参考訳）: スプレッドシートは、ビジネス分析、財務モデリング、レポート、意思決定に広く使われている。 しかし、既存のスプレッドシートベンチマークのほとんどは、単一形式生成やローカルセル編集のような独立した操作を評価しており、現実的なビジネス環境ではエンドツーエンドのワークフローをキャプチャできない。 これはスプレッドシートエージェントのためのワークフローレベルのベンチマークで、生成、デバッグ、視覚化の3つのタスクカテゴリをカバーする。 このベンチマークは、財務報告や企業書類を含む、本物のビジネスデータから構築され、ドメインの専門家によって注釈付けされ、検証されている。 ベンチマークには321のタスクが含まれており、各インスタンスは11.8のワークシートを平均し、593.5のセル修正を必要とする。 統合型マルチターンエージェントスキャフォールドの下で,8つのフロンティア大言語モデルを評価し,補足ベースラインとして複数のLLMベースのスプレッドシート製品を含む。 その結果、現在のシステムは現実世界のワークフローでは信頼性が低く、最高のモデルではタスク全体の正確性は34.89 %、デバッグの正確さは12.00 %であることがわかった。 軌道解析と失敗分類は、スプレッドシート検査が不十分で、標的細胞選択が正しくないことが主要なボトルネックであることを示している。 これらの知見を合わせて,信頼性の高いスプレッドシート自動化を向上するための挑戦的なテストベッドとして,textsc{SpreadsheetBench 2} を位置づけた。 プロジェクトページ: https://spreadsheetbench.github.io/

関連論文リスト

• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance [4.787072076364137]
  フロンティアAIラボは、スプレッドシート全体をスクラッチから構築できるエージェントを開発した。 これは金融において特に重要であり、金融モデリング、予測、シナリオ分析といった中核がスプレッドシートを通じて一般的に行われている。 既存のスプレッドシートベンチマークでは、この高度な能力は測定されず、代わりに質問回答や単一形式の編集に重点を置いている。
  論文  参考訳（メタデータ） (2026-05-21T16:06:34Z)
• Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning [43.91509663025854]
  スプレッドシートは、企業報告、監査、科学データ管理といった現実世界のアプリケーションの中心である。 既存の大きな言語モデルベースのアプローチでは、テーブルを平易なテキストとして扱い、重要なレイアウトキューや視覚的意味論を見渡すのが一般的である。 本稿では,ステップバイステップの読み出しと推論のパラダイムを取り入れた,スプレッドシート理解のための2段階のマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T04:47:21Z)
• Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing [0.7723674433972977]
  単一パス検索を反復ツール呼び出しループに置き換える,スプレッドシート理解のためのフレームワークであるBeyond Rows to Reasoning(BRTR)を紹介する。 BRTRは3つのフロンティアスプレッドシート理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-06T17:36:39Z)
• SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks [8.306042091008957]
  大規模言語モデル (LLM) は、構造化されたアーティファクトの生成と操作のタスクが増えている。 タスク上でモデルのパフォーマンスを評価するプラットフォームであるSpreadsheetArenaを紹介する。 好みのスプレッドシートのスタイラス的,構造的,機能的特徴はユースケースによって大きく異なる。
  論文  参考訳（メタデータ） (2026-02-16T14:24:36Z)
• SpreadsheetBench: Towards Challenging Real World Spreadsheet Manipulation [34.8332394229927]
  SpreadsheetBenchは,現在の大規模言語モデル(LLM)を,スプレッドシートユーザのワークフローにマージするように設計されている。 合成クエリと単純化されたスプレッドシートファイルに依存する既存のベンチマークとは異なり、SpreadsheetBenchはオンラインExcelフォーラムから収集された912の質問から作られている。 単一ラウンドおよび複数ラウンドの推論条件下での各種LLMの総合評価は,最先端モデル(SOTA)と人為的性能との間に大きなギャップがあることを示唆している。
  論文  参考訳（メタデータ） (2024-06-21T09:06:45Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• SheetAgent: Towards A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models [45.930510174309845]
  大規模言語モデル(LLM)は,最近,スプレッドシートの自動操作のために試みられている。 SheetAgentはPlanner、Informer、Retrieverの3つの共同モジュールで構成されている。 SheetAgentはベースラインよりも複数のベンチマークで20～40%のパスレート改善を実現している。
  論文  参考訳（メタデータ） (2024-03-06T11:48:08Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• SpreadsheetCoder: Formula Prediction from Semi-structured Context [70.41579328458116]
  行ベースと列ベースの両方のフォーマットで表されるコンテキストを表現するために,BERTベースのモデルアーキテクチャを提案する。 我々はスプレッドシートの大きなデータセットでモデルをトレーニングし、SpreadsheetCoderが42.51%の予測精度でトップ1の予測を達成できることを実証した。 ルールベースのシステムと比較すると、SpreadsheetCoder 82%は、Google Sheetsで公式を作成する上で、より多くのユーザを支援する。
  論文  参考訳（メタデータ） (2021-06-26T11:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。