論文の概要: FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks

• arxiv url: http://arxiv.org/abs/2505.19662v2
• Date: Fri, 30 May 2025 08:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 12:43:13.096398
• Title: FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks
• Title（参考訳）: FieldWorkArena: 現場作業タスクのためのエージェントAIベンチマーク
• Authors: Atsunori Moteki, Shoichi Masui, Fan Yang, Yueqi Song, Yonatan Bisk, Graham Neubig, Ikuo Kusajima, Yasuto Watanabe, Hiroyuki Ishida, Jun Takahashi, Shan Jiang,
• Abstract要約: FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。 本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
• 参考スコア（独自算出の注目度）: 52.47895046206854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes FieldWorkArena, a benchmark for agentic AI targeting real-world field work. With the recent increase in demand for agentic AI, they are required to monitor and report safety and health incidents, as well as manufacturing-related incidents, that may occur in real-world work environments. Existing agentic AI benchmarks have been limited to evaluating web tasks and are insufficient for evaluating agents in real-world work environments, where complexity increases significantly. In this paper, we define a new action space that agentic AI should possess for real world work environment benchmarks and improve the evaluation function from previous methods to assess the performance of agentic AI in diverse real-world tasks. The dataset consists of videos captured on-site and documents actually used in factories and warehouses, and tasks were created based on interviews with on-site workers and managers. Evaluation results confirmed that performance evaluation considering the characteristics of Multimodal LLM (MLLM) such as GPT-4o is feasible. Additionally, the effectiveness and limitations of the proposed new evaluation method were identified. The complete dataset (HuggingFace) and evaluation program (GitHub) can be downloaded from the following website: https://en-documents.research.global.fujitsu.com/fieldworkarena/.
• Abstract（参考訳）: 本稿では,実世界の現場作業を対象としたエージェントAIのベンチマークであるFieldWorkArenaを提案する。 近年のエージェントAIの需要増加に伴い、現実世界の作業環境において発生する、安全および健康上の問題や製造関連の出来事を監視し、報告する必要がある。 既存のエージェントAIベンチマークは、Webタスクの評価に限られており、複雑性が著しく増加する現実世界の作業環境でエージェントを評価するには不十分である。 本稿では,エージェントAIが実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義し,エージェントAIの性能を評価するために,従来の手法から評価機能を改善する。 データセットは、現場で撮影したビデオと、工場や倉庫で実際に使われているドキュメントで構成されており、現場の労働者やマネージャーとのインタビューに基づいてタスクが作成されている。 GPT-4o などのマルチモーダル LLM (MLLM) の特性を考慮した性能評価が可能であることを確認した。 また,提案手法の有効性と限界を明らかにした。 完全なデータセット(HuggingFace)と評価プログラム(GitHub)は、以下のWebサイトからダウンロードできる。

関連論文リスト

• REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites [9.58858258192147]
  実世界のWebサイトの決定論的シミュレーションにおけるマルチターンエージェント評価のためのベンチマークおよびフレームワークであるREALを紹介する。 また、日々の複雑なユーザインタラクションを反映した112の実践的なタスクからなるベンチマークもリリースしています。 我々のフレームワークは、新しいタスクの容易な統合、再現可能な評価、スケーラブルな後学習データ生成をサポートします。
  論文  参考訳（メタデータ） (2025-04-15T18:22:55Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  我々は、デジタルワーカーと同じような方法で世界と対話するAIエージェントを評価するためのベンチマークであるTheAgentCompanyを紹介する。 最も競争力のあるエージェントは、タスクの30%を自律的に完了させることができる。 これは、実際の職場の設定でLMエージェントをシミュレートすることで、タスク自動化に関する微妙な絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• WebArena: A Realistic Web Environment for Building Autonomous Agents [92.3291458543633]
  我々は、非常に現実的で再現可能な言語誘導エージェントのための環境を構築する。 我々は,Web上でタスクを実行するエージェントに着目し,4つの共通ドメインから完全に機能するWebサイトを持つ環境を構築する。 タスク完了の関数的正しさを評価することに焦点を当てたベンチマークタスクのセットをリリースする。
  論文  参考訳（メタデータ） (2023-07-25T22:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。