論文の概要: PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

• arxiv url: http://arxiv.org/abs/2606.31154v1
• Date: Tue, 30 Jun 2026 05:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.085651
• Title: PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks
• Title（参考訳）: PPT-Eval:PowerPointタスク上のコンピュータ利用エージェントのベンチマーク
• Abstract要約: Microsoft PowerPointはプレゼンテーション作成において最も広く採用され、機能豊富な環境の1つである。 12ファイルにわたる120のPowerPointタスクのベンチマークを導入し、コンテンツ作成とプレゼンテーション編集のシナリオをカバーする。 タスクは複雑でマルチモーダルであり、多くの有効なソリューションをしばしば認める。
• 参考スコア（独自算出の注目度）: 36.362000468844535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating and editing slides is a rich, multimodal activity that is ubiquitous in professional and educational settings, making it an ideal testbed for real-world computer-use agents. Microsoft PowerPoint is among the most widely adopted and feature-rich environments for presentation creation. We introduce PPT-Eval, a benchmark of 120 PowerPoint tasks across 12 files that cover both content creation and presentation editing scenarios, organized by difficulty. A central challenge in this domain is evaluation: tasks are complex, multimodal, and often admit many valid solutions. Moreover, today's agents frequently make only partial progress, which binary success metrics fail to capture. To address this, we design a robust evaluation framework to help create task-specific rubrics for PowerPoint tasks, taking inspiration from and building on past works for rubric-based evaluation. These rubrics award partial credit for intermediate steps, penalize unnecessary changes and poor aesthetics, and provide natural language feedback. This nuanced approach proves highly effective, achieving a Kendall's τ-b correlation of 0.77 with human judgments. We find that existing frontier agents still struggle with solving PowerPoint tasks, with strong models like Claude-4.5-Opus achieving only a 45% success rate and an average partial score of 57%. The benchmark is located at: https://microsoft.github.io/ppteval.
• Abstract（参考訳）: スライドの作成と編集はリッチでマルチモーダルなアクティビティであり、プロや教育の環境ではユビキタスであり、現実世界のコンピュータ利用エージェントにとって理想的なテストベッドとなっている。 Microsoft PowerPointはプレゼンテーション作成において最も広く採用され、機能豊富な環境の1つである。 PPT-Evalは、12ファイルにわたる120のPowerPointタスクのベンチマークで、コンテンツ作成とプレゼンテーション編集のシナリオの両方をカバーする。 タスクは複雑でマルチモーダルであり、多くの有効なソリューションをしばしば認める。 さらに、今日のエージェントは部分的な進捗しか行わず、バイナリ成功のメトリクスはキャプチャーに失敗する。 そこで我々は,PowerPointタスクのタスク固有のルーブリック作成を支援するためのロバストな評価フレームワークを設計し,過去のルーブリックに基づく評価作業からインスピレーションを得て構築する。 これらのルーリックは、中間段階に部分的にクレジットを与え、不必要な変化と美学を罰し、自然言語のフィードバックを提供する。 このニュアンスなアプローチは、人間の判断と0.77のτ-b相関を達成し、非常に効果的であることが証明されている。 Claude-4.5-Opusのような強力なモデルでは、成功率はわずか45%、平均的な部分スコアは57%に過ぎません。 ベンチマークは、https://microsoft.github.io/ppteval.com/。

関連論文リスト

• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
  コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。 この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。 我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。 より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
  論文  参考訳（メタデータ） (2026-06-09T14:59:14Z)
• PerspectiveGap: A Benchmark for Multi-Agent Orchestration Prompting [6.877973774604102]
  PerspectiveGapは、マルチエージェントシステムのためのオーケストレーションプロンプトを構成するLLMの機能を評価するためのベンチマークである。 10社の27社の商用モデルによる実験では、GPT-5.5は全てのライバルより大幅に優れていた。
  論文  参考訳（メタデータ） (2026-06-07T23:26:12Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• ClawBench: Can AI Agents Complete Everyday Online Tasks? [50.958690494341106]
  ClawBenchは153のシンプルなタスクの評価フレームワークで、人々が人生や仕事で定期的に達成する必要がある。 ClawBenchは本番Webサイトで動作し、実世界のWebインタラクションの完全な複雑さ、動的な性質、課題を保存する。 軽量なインターセプション層は、最終的なリクエストのみをキャプチャしてブロックし、現実世界の副作用なしに安全な評価を保証する。
  論文  参考訳（メタデータ） (2026-04-09T17:57:13Z)
• PPTArena: A Benchmark for Agentic PowerPoint Editing [57.55409966131844]
  我々はPowerPoint編集のベンチマークを導入し、自然言語による実際のスライドに対する信頼性のある修正を計測する。 PPTArenaは100のデッキ、2125のスライド、テキスト、チャート、テーブル、アニメーション、マスターレベルのスタイルを対象とする800以上の編集に焦点を当てている。 本稿では,意味的な編集シーケンス,ハイレベルなプログラムツール間の経路,そして正確な制御のための決定論的XML操作を計画する構造対応スライド編集エージェントを提案する。
  論文  参考訳（メタデータ） (2025-12-02T18:59:50Z)
• Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction [10.428174043080622]
  大規模言語モデルは現実世界のアプリケーションで顕著に使われ、しばしば大量の文書を推論する。 本稿では,標準テストの限界に対処する評価フレームワークであるSWiMを提案する。 また,この効果を緩和する,単純かつ効果的なトレーニングフリーアプローチであるメドイド投票を提案する。
  論文  参考訳（メタデータ） (2024-07-04T05:46:20Z)
• A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets [19.521390684403293]
  本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。 具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
  論文  参考訳（メタデータ） (2023-05-29T12:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。