論文の概要: StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows
- arxiv url: http://arxiv.org/abs/2608.17800v1
- Date: Tue, 18 Aug 2026 14:01:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.359223
- Title: StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows
- Title（参考訳）: StartupBench: 市場価値の高いエンドツーエンドワークフロー上での汎用エージェントのベンチマーク
- Abstract要約: textbfStartupBenchは、市場価値の高いAIスタートアップ製品に根ざしたE2Eエージェントベンチマークである。
我々は、AIが現実的な需要を確立した現実的なタスクを特定するために、製品やユーザとともに、AI製品の採用を実証して研究する。
以上の結果から,現在の汎用エージェントの信頼性を超越した,市場価値の高いエージェントが多数存在することが明らかとなった。
- 参考スコア（独自算出の注目度）: 63.57092302641323
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in Large Language Models(LLMs) and agents have substantially improved the ability of AI systems to execute complex tasks. Yet existing benchmarks largely rely on researcher-selected tasks, leaving uncertain whether such progress extends to the work that real-world users actually demand from AI systems. We introduce \textbf{StartupBench}, an E2E agent benchmark grounded in market-validated AI startup products. Rather than defining tasks from pre-defined assumptions about useful agent capabilities, we systematically study AI products with demonstrated adoption, together with their product workflows and users, to identify real-world tasks for which AI has established practical demand across diverse professional domains. We translate these workflows into complete deliverable-oriented tasks and evaluate them with fine-grained rubrics capturing their complex requirements. Across representative models evaluated under a unified agent harness, even the strongest model successfully completes only approximately 30\% of StartupBench, despite making substantial partial progress on many tasks. Further analysis identifies aspects like complex instruction following and domain-specific expertise as major sources of failure. Our results reveal that many market-validated workflows remain beyond the reliable capabilities of current general-purpose agents, establishing StartupBench as an empirical measure of progress toward E2E completions of real-world user tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)とエージェントの最近の進歩は、複雑なタスクを実行するAIシステムの能力を大幅に改善した。
しかし、既存のベンチマークは研究者が選択したタスクに大きく依存しており、そのような進歩が現実のユーザーがAIシステムから実際に要求する作業にまで及んでいるかどうかは不明だ。
我々は、市場検証されたAIスタートアップ製品に基盤をおくE2Eエージェントベンチマークである \textbf{StartupBench} を紹介する。
有用なエージェント機能に関する事前定義された前提からタスクを定義するのではなく、製品ワークフローやユーザとともに、AIがさまざまなプロフェッショナルドメインにまたがる実用的な需要を確立した現実的なタスクを特定するために、AI製品の採用を実証して、体系的に研究する。
これらのワークフローを完全なデリバリ指向のタスクに変換し、複雑な要求を捉えたきめ細かいルーリックで評価します。
統一されたエージェントハーネスの下で評価された代表モデル全体で、最強のモデルでさえ、多くのタスクでかなりの部分的な進歩を遂げているにも関わらず、StartupBenchの約30倍しか完了していない。
さらなる分析では、複雑な命令の追跡やドメイン固有の専門知識といった側面を失敗の主な原因として挙げている。
以上の結果から,現実のユーザタスクのE2E完了に向けた進捗の実証尺度としてStartupBenchが確立されている。
関連論文リスト
- AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments [84.8170304874972]
我々はAgentGym2について紹介する。これは実世界の作業要求に根ざしたタスクインスタンスを備えた新しい評価フレームワークである。
エージェントのエンドツーエンドのプロシージャの実行能力を測定し、探索を通じてツールを発見し、目に見えないタスクのためのツールを作成し、ノイズや不特定情報に対して堅牢な状態を保つ。
論文 参考訳（メタデータ） (2026-07-06T14:56:51Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - APEX-SWE [4.927317067589892]
AI Productivity Index for Software Engineering (APEX-SWE)を紹介する。
APEX-SWEは、フロンティアAIモデルが経済的に価値のあるソフトウェアエンジニアリング作業を実行できるかどうかを評価するためのベンチマークである。
Gemini 3 Pro(Thinking = High)は、Pass@1スコアが25%である。
論文 参考訳（メタデータ） (2026-01-13T18:44:08Z) - Beyond Task Completion: An Assessment Framework for Evaluating Agentic AI Systems [0.0]
エージェントAIの最近の進歩は、スタンドアロンの大規模言語モデルから統合システムへと焦点を移している。
LLM、メモリ、ツール、環境を含む4つの評価柱を持つエンドツーエンドのエージェントアセスメントフレームワークを提案する。
我々はこのフレームワークを、従来のメトリクスによる振る舞いの偏りを示す、代表的なAutonomous CloudOpsユースケースで検証する。
論文 参考訳（メタデータ） (2025-12-14T18:17:40Z) - UpBench: A Dynamically Evolving Real-World Labor-Market Agentic Benchmark Framework Built for Human-Centric AI [2.0619484032730813]
UpBenchは、グローバルなUpworkの労働市場から引き出された実際の仕事に関するベンチマークだ。
各タスクは検証されたクライアントトランザクションに対応し、実際の作業活動と財務成果の評価をアンロックする。
UpBenchはルーリックベースの評価フレームワークを採用しており、専門家フリーランサーは各ジョブを詳細かつ検証可能な受け入れ基準に分解し、基準ごとのフィードバックでAI申請を評価する。
論文 参考訳（メタデータ） (2025-11-15T17:39:37Z) - WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。
WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。
BrowserGymは、そのようなエージェントの設計と評価のための環境である。
論文 参考訳（メタデータ） (2024-03-12T14:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。