論文の概要: OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
- arxiv url: http://arxiv.org/abs/2607.27155v1
- Date: Wed, 29 Jul 2026 17:33:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.763942
- Title: OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
- Title（参考訳）: OmegaUse-OfficeVal:LLMエージェントを経済基盤を有する長軸オフィススイートタスクにベンチマークする
- Authors: Jingbo Zhou, Yusai Zhao, Qi Bao, Jingjia Cao, Zhenghai Chen, Chang Gao, Kaiqi Guo, Muxin Guo, Mingxuan Li, Xinjiang Lu, Yanru Ma, Yixiong Xiao, Zenghui Zhang, Le Zhang, Hua Wu,
- Abstract要約: OmegaUse-OfficeValは,大規模言語モデル(LLM)エージェントをオフィススイートタスクで評価するためのベンチマークである。
ベンチマークは、実践者が提案したオフィススーツリクエストから派生した100のタスクで構成され、プライバシ保護プロセスを通じて適用される。
ベンチマークの重要な特徴は、各タスクが2つの経済的シグナル(人的労働時間とタスク価格プロキシ)とペアリングされていることである。
- 参考スコア（独自算出の注目度）: 32.56636173505796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents are increasingly expected to assist users in completing tasks. However, existing benchmarks provide limited support for evaluating whether agents can carry out office-suite workflows at a reasonable cost. We introduce OmegaUse-OfficeVal, a benchmark for evaluating LLM agents on long-horizon office-suite tasks with task-level economic grounding. The benchmark comprises 100 tasks derived from office-suite requests proposed by practitioners and adapted through a privacy-preserving process. On average, these tasks require 2.32 hours of human labor to complete. An important feature of the benchmark is that each task is paired with two economic signals: human labor time and task price proxy. These signals enable direct comparisons between human costs and LLM inference costs, as well as value-weighted evaluation. To support stable evaluation, we develop code-based verifiers from fine-grained rubrics. We evaluate several frontier LLMs together with a human baseline. Although all evaluated LLMs are substantially cheaper and faster than human workers, they have not yet approached human-level deliverable quality. The code and dataset are fully open-sourced, and more information is available on our project website: https://omegause-officeval.github.io.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ユーザーがタスクを完了するのを助けることがますます期待されている。
しかし、既存のベンチマークでは、エージェントが合理的なコストでオフィススイートワークフローを実行できるかどうかを評価するための限定的なサポートを提供している。
OmegaUse-OfficeValは、タスクレベルの経済基盤を組み込んだ長期オフィススイートタスクにおけるLLMエージェントの評価ベンチマークである。
ベンチマークは、実践者が提案したオフィススーツリクエストから派生した100のタスクで構成され、プライバシ保護プロセスを通じて適用される。
作業には平均2.32時間を要する。
ベンチマークの重要な特徴は、各タスクが2つの経済的シグナル(人的労働時間とタスク価格プロキシ)とペアリングされていることである。
これらの信号は、人的コストとLLM推論コストの直接比較、および価値重み付け評価を可能にする。
安定した評価を支援するため,粒度の細かいルーリックを用いたコードベースの検証器を開発した。
我々は,人体ベースラインとともに,複数のフロンティアLSMを評価した。
評価されたLCMはすべて、人間労働者よりも大幅に安価で高速であるが、人間レベルの納入可能な品質にはまだアプローチしていない。
コードとデータセットは完全にオープンソースで、さらに詳しい情報はプロジェクトのWebサイト(https://omegause-officeval.github.io)で公開されている。
関連論文リスト
- Benchmarking LLM Agents for Wealth-Management Workflows [0.0]
この論文はTheAgentCompanyを金融に焦点を当てた環境に拡張している。
本研究は、汎用LLMエージェントが、精密かつ経済的に代表的富管理タスクを完了できるかどうかを調査する。
論文 参考訳（メタデータ） (2025-12-01T21:56:21Z) - On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。
コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
論文 参考訳（メタデータ） (2025-07-22T13:40:26Z) - BenTo: Benchmark Task Reduction with In-Context Transferability [32.561978389905434]
本稿では,大規模言語モデル(LLM)のベンチマークに使用するタスクを効率的に削減する方法を検討する。
In-context Learning (ICL) による2つのタスク間の伝達可能性を推定する実用的な指標を提案する。
論文 参考訳（メタデータ） (2024-10-17T17:41:15Z) - Autonomous Evaluation of LLMs for Truth Maintenance and Reasoning Tasks [20.072783454089098]
本稿では,大規模言語モデル (LLM) 評価を形式的タスクに拡張するための新しいベンチマークである AutoEval を提案する。
AutoEvalは最初のベンチマークパラダイムであり、人間のラベルなしでLLMの客観的評価をスケールするのに必要ないくつかの重要な利点を提供している。
論文 参考訳（メタデータ） (2024-10-11T00:56:37Z) - OfficeBench: Benchmarking Language Agents across Multiple Applications for Office Automation [51.27062359412488]
Officeの自動化は、ワークフローでルーチンタスクを自動的に終了することで、人間の生産性を著しく向上させる。
OfficeBenchは、現実的なオフィスにおけるオフィスタスクに対処する現在のLLMエージェントの能力を評価するための、最初のオフィス自動化ベンチマークの1つです。
各タスクにカスタマイズした評価手法を適用すると、GPT-4 Omniは47.00%の最高パス率を達成し、オフィスタスクの処理に優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-26T19:27:17Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。
具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。
我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2023-10-03T16:05:48Z) - AgentBench: Evaluating LLMs as Agents [99.12825098528212]
エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。
我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
論文 参考訳（メタデータ） (2023-08-07T16:08:11Z) - Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use
Large Language Models for Text Production Tasks [12.723777984461693]
大型言語モデル(LLM)は注目すべきデータアノテータである。
クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。
作業完了時には,33～46%がLLMを使用していた。
論文 参考訳（メタデータ） (2023-06-13T16:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。