論文の概要: WorkWorlds: An Infrastructure for Evaluating AI Agents on Workplace Tasks
- arxiv url: http://arxiv.org/abs/2609.23806v2
- Date: Wed, 23 Sep 2026 00:16:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.667267
- Title: WorkWorlds: An Infrastructure for Evaluating AI Agents on Workplace Tasks
- Title（参考訳）: WorkWorlds: 職場タスク上でAIエージェントを評価するためのインフラストラクチャ
- Abstract要約: この設計は、タスクのために組み立てられた環境における職場的なタスクのパフォーマンスを測定する。
タスク仕様から組織状態を分離する評価インフラストラクチャであるWorkWorldsを紹介します。
- 参考スコア（独自算出の注目度）: 4.47851482176672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many knowledge-work benchmarks are constructed around individual tasks, with the context needed for each task selected together with or after the task has been specified. This design measures performance on workplace-like tasks in an environment assembled for the task. When task specification guides which context is selected, the evaluation can encode task information into the environment and pre-complete part of the information-localization work that workplace performance normally requires. We introduce WorkWorlds, an evaluation infrastructure that separates organizational state from task specification. A world first fixes a revision, date, and employee seat and materializes the organizational state that employee can access; tasks are introduced only afterward. We implement WorkWorlds in a primary synthetic pharmaceutical company with 8 measured tasks across 6 employee seats, and construct additional organizational worlds. Across 192 matched evaluations, task-level curation increased evidence access by 17.6 percentage points, from 72.8% to 90.4%, and criterion pass by 8.7 points, from 68.0% to 76.7%, while pass conditional on evidence access remained nearly unchanged; most of the measured difference occurred before the agent reached sufficient evidence.
- Abstract（参考訳）: 多くのナレッジワークベンチマークは個々のタスクを中心に構築されており、タスクが特定された後に選択された各タスクに必要なコンテキストが指定されている。
この設計は、タスクのために組み立てられた環境における職場的なタスクのパフォーマンスを測定する。
タスク仕様が選択されたコンテキストをガイドすると、職場パフォーマンスが通常要求する情報局所化作業の環境および未完了部分にタスク情報をエンコードすることができる。
タスク仕様から組織状態を分離する評価インフラストラクチャであるWorkWorldsを紹介します。
世界はまず、リビジョン、日付、従業員の席を修正し、従業員がアクセスできる組織状態を具体化する。
我々は,6人の従業員に対して8つのタスクを計測し,新たな組織世界を構築可能な,一次合成製薬会社でWorkWorldsを実装した。
192点中17.6点(72.8%から90.4%)、基準値が8.7点(68.0%から76.7%)まで上昇し、証拠へのアクセス条件はほぼ変わらなかった。
関連論文リスト
- Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies [29.138677906501865]
大規模なファイル依存を伴うワークスペース学習におけるAIエージェントの評価のためのベンチマークであるWorkspace-Benchを紹介する。
5つのワーカープロファイル、74のファイルタイプ、20,476のファイル(最大20GB)を持つ現実的なワークスペースを構築し、それぞれが7,399の合計ルーリックに対して評価された独自のファイル依存グラフを持つ388のタスクをキュレートする。
論文 参考訳（メタデータ） (2026-05-05T10:17:06Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - UI-CUBE: Enterprise-Grade Computer Use Agent Benchmarking Beyond Task Accuracy to Operational Reliability [35.18016233072556]
We present UI-CUBE (UiPath Computer Use BEnchmark), a benchmark with 226 tasks across two difficulty tiers。
私たちの評価では、シンプルなUIインタラクション(136タスク)と、コピー・ペーストタスク(50タスク)とエンタープライズアプリケーションシナリオ(40タスク)を含む複雑度をカバーしています。
現在のCUAは個々のインターフェイス要素を操作できるが、信頼性の高いワークフロー自動化ツールとして機能することはまだできない。
論文 参考訳（メタデータ） (2025-11-21T10:47:22Z) - Unified Work Embeddings: Contrastive Learning of a Bidirectional Multi-task Ranker [3.4204762278595346]
ランキング問題として明示的に定式化された6つの作業関連タスクにまたがる最初の統合評価スイートであるWorkBenchを紹介した。
この洞察を用いて、実世界のデータからタスク固有の二部グラフを作成し、グラウンド化を通じて合成的にリッチ化する。
これは、多対多のInfoNCE目標でトレーニングデータ構造を利用するタスク非依存のバイエンコーダであるUnified Work Embeddings(UWE)につながります。
論文 参考訳（メタデータ） (2025-11-11T08:28:26Z) - FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。
本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
論文 参考訳（メタデータ） (2025-05-26T08:21:46Z) - WebArena: A Realistic Web Environment for Building Autonomous Agents [92.3291458543633]
我々は、非常に現実的で再現可能な言語誘導エージェントのための環境を構築する。
我々は,Web上でタスクを実行するエージェントに着目し,4つの共通ドメインから完全に機能するWebサイトを持つ環境を構築する。
タスク完了の関数的正しさを評価することに焦点を当てたベンチマークタスクのセットをリリースする。
論文 参考訳（メタデータ） (2023-07-25T22:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。