論文の概要: LiveAgentBench: Comprehensive Benchmarking of Agentic Systems Across 104 Real-World Challenges
- arxiv url: http://arxiv.org/abs/2603.02586v1
- Date: Tue, 03 Mar 2026 04:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.634115
- Title: LiveAgentBench: Comprehensive Benchmarking of Agentic Systems Across 104 Real-World Challenges
- Title（参考訳）: LiveAgentBench: 実世界の104の課題にわたるエージェントシステムの総合的なベンチマーク
- Authors: Hao Li, Huan Wang, Jinjie Gu, Wenjie Wang, Chenyi Zhuang, Sikang Bian,
- Abstract要約: 実ユーザ要求を反映した104のシナリオを備えた総合ベンチマークであるLiveAgentBenchを紹介します。
ソーシャルメディアや現実世界の製品に関する公開の質問から構築されている。
このリリースには374のタスクと125のバリデーション、249のテストが含まれている。
- 参考スコア（独自算出の注目度）: 34.17635007594549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models grow more capable, general AI agents have become increasingly prevalent in practical applications. However, existing benchmarks face significant limitations, failing to represent real-world user tasks accurately. To address this gap, we present LiveAgentBench, a comprehensive benchmark with 104 scenarios that reflect real user requirements. It is constructed from publicly sourced questions on social media and real-world products. Central to our approach is the Social Perception-Driven Data Generation (SPDG) method, a novel process we developed to ensure each question's real-world relevance, task complexity, and result verifiability. We evaluate various models, frameworks, and commercial products using LiveAgentBench, revealing their practical performance and identifying areas for improvement. This release includes 374 tasks, with 125 for validation and 249 for testing. The SPDG process enables continuous updates with fresh queries from real-world interactions.
- Abstract（参考訳）: 大規模言語モデルがより有能になるにつれて、汎用AIエージェントは実践的応用においてますます普及している。
しかし、既存のベンチマークは、現実世界のユーザタスクを正確に表現できない、重大な制限に直面している。
このギャップに対処するため、実ユーザ要求を反映した104のシナリオを備えた総合的なベンチマークであるLiveAgentBenchを紹介します。
ソーシャルメディアや現実世界の製品に関する公開の質問から構築されている。
私たちのアプローチの中心は、社会認識駆動データ生成(SPDG)メソッドです。これは、各質問の現実的関連性、タスクの複雑さ、結果の検証性を保証するために、私たちが開発した新しいプロセスです。
我々はLiveAgentBenchを使って様々なモデル、フレームワーク、商用製品を評価し、その実用性能と改善すべき領域を明らかにした。
このリリースには374のタスクと125のバリデーション、249のテストが含まれている。
SPDGプロセスは、現実世界のインタラクションからの新鮮なクエリによる継続的更新を可能にする。
関連論文リスト
- Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - VitaBench: Benchmarking LLM Agents with Versatile Interactive Tasks in Real-world Applications [20.065087936770215]
実世界の環境に根ざした多目的対話型タスクのエージェントを評価するベンチマークであるVitaBenchを紹介する。
VitaBenchは、66のツールを含む、これまでで最も複雑な生命維持シミュレーション環境を持つエージェントを提示する。
総合評価の結果,最も先進的なモデルでさえ,クロスシナリオタスクにおいて30%の成功率しか達成できないことがわかった。
論文 参考訳（メタデータ） (2025-09-30T16:33:49Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - MVISU-Bench: Benchmarking Mobile Agents for Real-World Tasks by Multi-App, Vague, Interactive, Single-App and Unethical Instructions [11.021990614727702]
textbfMVISU-Benchは137のモバイルアプリケーションに404のタスクを含むベンチマークである。
また,リスクを軽減し,モバイルエージェントのユーザ意図を明らかにするために,動的プロンプトプロンプトプロンプトとして機能するプラグイン・アンド・プレイモジュールであるAiderを提案する。
論文 参考訳（メタデータ） (2025-08-12T16:18:30Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites [9.58858258192147]
実世界のWebサイトの決定論的シミュレーションにおけるマルチターンエージェント評価のためのベンチマークおよびフレームワークであるREALを紹介する。
また、日々の複雑なユーザインタラクションを反映した112の実践的なタスクからなるベンチマークもリリースしています。
我々のフレームワークは、新しいタスクの容易な統合、再現可能な評価、スケーラブルな後学習データ生成をサポートします。
論文 参考訳（メタデータ） (2025-04-15T18:22:55Z) - CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。
現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。
この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
論文 参考訳（メタデータ） (2024-11-04T17:30:51Z) - AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? [50.36826943689364]
言語エージェントがWeb上で現実的で時間を要するタスクを実行できるかどうかを調査する。
自動評価が可能な214の現実的なタスクからなる新しいベンチマークであるAssistantBenchを紹介する。
我々は,AssistantBenchが,言語モデルや検索拡張言語モデルなど,現在のシステムの限界を明らかにすることを発見した。
論文 参考訳（メタデータ） (2024-07-22T15:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。