論文の概要: EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks

• arxiv url: http://arxiv.org/abs/2609.31906v1
• Date: Fri, 25 Sep 2026 18:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:45:28.92681
• Title: EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks
• Title（参考訳）: EmailBench: 企業メールと生産性タスクにおけるLLMエージェントの評価ベンチマーク
• Abstract要約: EmailBenchは16のタスクカテゴリにわたる206のメールおよび生産性シナリオのベンチマークである。 エンドツーエンドメールエージェント評価のための自己完結型環境である。
• 参考スコア（独自算出の注目度）: 11.367018723306721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise email agents must combine information retrieval, structured state changes, temporal reasoning, and multi-step coordination. Recent agent benchmarks include productivity tasks, but few center on typed email workflows in a self-contained environment. We introduce EmailBench, a benchmark of 206 email and productivity scenarios across 16 task categories. The benchmark couples a typed email API specification with provider-neutral naming, a deterministic synthetic Enron-inspired corpus, and a scenario suite whose topic selection was informed by aggregate task-intent telemetry from an interactive prototype. Its hybrid evaluation protocol combines 258 executable static assertions with 211 LLM rubrics. We evaluate eight LM configurations on a fixed single-user corpus. The best-performing configuration passes only 33.5% of scenarios despite 99.7% of its tool calls completing without an observed API failure, with pass rates varying substantially across task categories. This gap shows that valid tool execution is not equivalent to task completion. EmailBench provides a self-contained environment for end-to-end email-agent evaluation, with broader tool coverage, multi-persona testing, and repeated-run evaluation as future work areas.
• Abstract（参考訳）: エンタープライズメールエージェントは、情報検索、構造化状態の変更、時間的推論、多段階調整を組み合わせる必要がある。 最近のエージェントベンチマークには生産性タスクが含まれているが、自己完結環境での型付Eメールワークフローに重点を置くものはほとんどない。 EmailBenchは16のタスクカテゴリにわたる206のメールと生産性シナリオのベンチマークです。 このベンチマークでは、プロバイダニュートラルな命名と、決定論的にエンロンにインスパイアされたコーパスと、対話型プロトタイプからのタスクインテントテレメトリの集合によってトピック選択が通知されるシナリオスイートとが組み合わされている。 そのハイブリッド評価プロトコルは、228の静的アサーションと211のLLMルーブリックを組み合わせたものである。 固定された単一ユーザコーパス上で8つのLM構成を評価する。 最高のパフォーマンス設定は、99.7%のツールコールが観察されたAPI障害なしで完了しているにも関わらず、わずか33.5%のシナリオに過ぎず、タスクカテゴリ毎にパスレートが大幅に変化している。 このギャップは、有効なツールの実行がタスクの完了と等価でないことを示している。 EmailBenchは、エンドツーエンドのメールエージェント評価のための自己完結型環境を提供する。

関連論文リスト

• DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
  我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。 結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。 これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
  論文  参考訳（メタデータ） (2026-08-27T02:36:23Z)
• E-Bench: Benchmarking Multi-Step Tool-Use Agents in Real-World Product Scenarios [21.754234431463455]
  大規模言語モデル(LLM)は、複数のステップでステートフルな環境と対話するエージェントとして、ますます多くデプロイされている。 E-Benchは3つの製品ドメインにわたる323の状態変更タスクを備えた完全な総合ベンチマークである。
  論文  参考訳（メタデータ） (2026-07-26T15:38:28Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• M3-Bench: Multi-Modal, Multi-Hop, Multi-Threaded Tool-Using MLLM Agent Benchmark [45.755057449698825]
  M3-Benchは、Model Context Protocolの下で使用されるマルチモーダルツールを評価するための最初のベンチマークである。 我々は,各ツールコールをシリアライズし,文エンコーダにシグネチャを埋め込む類似性駆動アライメントを導入し,類似性に富んだハンガリー語マッチングを実行する。 ベンチマークは28のサーバと231のツールにまたがっており、人間による検証でExecutor & Judgeパイプラインを通じてキュレートされた標準化されたトラジェクトリを提供する。
  論文  参考訳（メタデータ） (2025-11-21T19:27:02Z)
• Evaluating LLMs on Sequential API Call Through Automated Test Generation [10.621357661774244]
  StateGenは、シーケンシャルなAPIインタラクションを含む多様なコーディングタスクを生成するように設計された、自動化されたフレームワークである。 3つの代表的なシナリオにまたがる120の検証済みのテストケースを含むベンチマークであるStateEvalを構築します。 実験の結果、StateGenは挑戦的で現実的なAPI指向のタスクを効果的に生成できることを確認した。
  論文  参考訳（メタデータ） (2025-07-13T03:52:51Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。