論文の概要: Back to the Future: A workbook time machine for spread sheet creation benchmarks

• arxiv url: http://arxiv.org/abs/2608.07873v1
• Date: Sat, 08 Aug 2026 02:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.542734
• Title: Back to the Future: A workbook time machine for spread sheet creation benchmarks
• Title（参考訳）: Back to the Future: スプレッドシート作成ベンチマークのためのワークブックタイムマシン
• Abstract要約: ワークブックタイムマシンは,スプレッドシートから派生したオブジェクトを生成する言語モデルの能力を評価するベンチマークを自動的に生成するパイプラインである。 公開ワークブックコーパスに適用すると、wtmcorpusが生成される。これは4つのアーティファクトタイプにまたがる(入力ワークブック、出力ワークブック、クエリ)トリプルのコレクションである。 既存のスプレッドシート処理エージェントとwtmbenchのベースラインを、アーティファクトタイプ、ステップの複雑さ、命令の粒度で評価する。
• 参考スコア（独自算出の注目度）: 14.460401299531972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the workbook time machine, a pipeline that automatically creates benchmarks evaluating the ability of language models to create derived objects in spreadsheets (formulas, charts, pivot tables, and conditional formatting). Applied to public workbook corpora, it produces wtmcorpus--a collection of (input workbook, output workbook, query) triples spanning four artifact types and varying complexity. From this corpus we curate wtmbench, a 150-task evaluation benchmark with queries at three levels of specificity. We evaluate existing spreadsheet manipulation agents and baselines on wtmbench across artifact types, step complexity, and instruction granularity. Our evaluations show that query specificity, agent orchestration, and interface API used to control spreadsheets play a big role in LLM performance on Excel tasks.
• Abstract（参考訳）: ワークブックタイムマシンは、スプレッドシート(フォーミュラ、チャート、ピボットテーブル、条件付きフォーマット)で派生オブジェクトを生成する言語モデルの能力を評価するベンチマークを自動的に作成するパイプラインである。 公開ワークブックコーパスに適用すると、wtmcorpus - 入力ワークブック、出力ワークブック、クエリ)のコレクションで、4つのアーティファクトタイプにまたがるトリプルを生成する。 このコーパスから、150タスクの評価ベンチマークであるwtmbenchを3レベルの特異性でキュレートする。 既存のスプレッドシート処理エージェントとwtmbenchのベースラインを、アーティファクトタイプ、ステップの複雑さ、命令の粒度で評価する。 評価の結果,Excelタスク上でのLLM性能において,スプレッドシートの制御に使用されるクエリ特異性,エージェントオーケストレーション,インターフェースAPIが重要な役割を担っていることが明らかとなった。

関連論文リスト

• SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows [14.11925465537949]
  スプレッドシートエージェントの分類レベルベンチマークであるtextscSpreadsheetBench 2 を紹介する。 このベンチマークは、財務報告や企業書類を含む、本物のビジネスデータから構築されている。 その結果、現在のシステムは現実世界での使用には程遠いことが判明した。
  論文  参考訳（メタデータ） (2026-06-29T08:33:52Z)
• SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks [8.306042091008957]
  大規模言語モデル (LLM) は、構造化されたアーティファクトの生成と操作のタスクが増えている。 タスク上でモデルのパフォーマンスを評価するプラットフォームであるSpreadsheetArenaを紹介する。 好みのスプレッドシートのスタイラス的,構造的,機能的特徴はユースケースによって大きく異なる。
  論文  参考訳（メタデータ） (2026-02-16T14:24:36Z)
• ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement [58.957050610762565]
  ShowTableは、プログレッシブな自己修正プロセスを通じて、MLLMと拡散モデルとを相乗化するパイプラインである。 MLLMは視覚計画の推論と視覚的誤りの判断において中心的なオーケストレータとして機能する。 TableVisBenchは、5つの評価次元に800の挑戦的なインスタンスを持つ新しいベンチマークです。
  論文  参考訳（メタデータ） (2025-12-15T13:21:50Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• SpreadsheetBench: Towards Challenging Real World Spreadsheet Manipulation [34.8332394229927]
  SpreadsheetBenchは,現在の大規模言語モデル(LLM)を,スプレッドシートユーザのワークフローにマージするように設計されている。 合成クエリと単純化されたスプレッドシートファイルに依存する既存のベンチマークとは異なり、SpreadsheetBenchはオンラインExcelフォーラムから収集された912の質問から作られている。 単一ラウンドおよび複数ラウンドの推論条件下での各種LLMの総合評価は,最先端モデル(SOTA)と人為的性能との間に大きなギャップがあることを示唆している。
  論文  参考訳（メタデータ） (2024-06-21T09:06:45Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• NL2Formula: Generating Spreadsheet Formulas from Natural Language Queries [29.33149993368329]
  本稿では,NL2Formulaと呼ばれる新しいベンチマークタスクを紹介する。 目的は、自然言語(NL)クエリを入力として、スプレッドシートテーブル上にグラウンドされた実行可能な式を生成することである。 我々は,70,799対のNLクエリと対応するスプレッドシート公式からなる包括的データセットを構築し,21,670のテーブルと37種類の公式関数を網羅した。
  論文  参考訳（メタデータ） (2024-02-20T05:58:05Z)
• InstructExcel: A Benchmark for Natural Language Instruction in Excel [72.018640505825]
  本研究は,大規模言語モデルが自然言語ユーザ命令を通じて提供されるExcel固有のタスクを解くコードを生成することができるかどうかを考察する。 私たちのベンチマークには、2000の公開Excelスプレッドシートにわたる170以上のExcel操作をカバーする10万以上のサンプルが含まれています。 我々は,(1) GPT-4 over GPT-3.5,(2) よりコンテキスト内での例を提供し,(3) 動的プロンプトは,このベンチマークの性能向上に役立つことを観察した。
  論文  参考訳（メタデータ） (2023-10-23T02:00:55Z)
• SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models [60.171444066848856]
  本研究では,スプレッドシートの要求を満たすために自然言語処理と制御を行うスプレッドシートコパイロットエージェントを提案する。 221のスプレッドシート制御タスクを含む代表データセットをキュレートし,完全自動評価パイプラインを構築した。 当社の SheetCopilot は1世代で44.3% のタスクを正しく完了し、強力なコード生成ベースラインを広いマージンで上回っている。
  論文  参考訳（メタデータ） (2023-05-30T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。