論文の概要: DeliverBench: Benchmarking AI Agents on Delivering Realistic Multi-Stage Professional Projects
- arxiv url: http://arxiv.org/abs/2611.03412v1
- Date: Mon, 02 Nov 2026 16:37:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 04:45:16.810841
- Title: DeliverBench: Benchmarking AI Agents on Delivering Realistic Multi-Stage Professional Projects
- Title（参考訳）: DeliverBench: 現実的なマルチステージプロフェッショナルプロジェクトを提供するAIエージェントのベンチマーク
- Abstract要約: LLMエージェントは、成果によって判断され、プロフェッショナルな作業では、成果はタスクではなく、プロジェクトである。
DeliverBenchを紹介します。これは、エージェントが短期間から最終納品までプロジェクトを運べるかどうかをテストするものです。
- 参考スコア（独自算出の注目度）: 28.939959683239618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents are judged by what they deliver, and in professional work what gets delivered is a project, not a task. A project pays off only if the whole package holds, and one weak part can limit the value of the rest. Yet existing benchmarks mostly test agents on one task at a time, leaving a gap between the capability we measure and the outcome that makes agents useful. To address this gap, we introduce DeliverBench, which tests whether agents can carry a project from brief to final delivery. Its 11 projects, spanning financial due diligence, legal contract drafting, and drug safety reporting, are reconstructed with 13 domain experts from real materials and chain 150 subtasks through 2-15 rounds of new materials and client feedback. Because no reference outputs are injected, agents inherit their own errors from one task to the next. Expert rubrics then score every checkpoint as well as the final package. Across seven model-harness systems, even the best system scores only 65.0 out of 100 on final delivery and passes 50.0% of subtasks at a 90-point threshold. The failures are often failures of carrying work forward: in one audit project, all seven systems addressed the review findings, but only one preserved traceability. Together, these results suggest that task-level capability does not simply compose into delivery, which also depends on keeping the work coherent as it evolves.
- Abstract（参考訳）: LLMエージェントは、成果によって判断され、プロフェッショナルな作業では、成果はタスクではなく、プロジェクトである。
プロジェクトはパッケージ全体が保持されている場合にのみ支払いを行い、一方の弱い部分は残りの部分の値を制限することができる。
しかし、既存のベンチマークは、主に1つのタスクでエージェントをテストし、測定する能力とエージェントが役に立つ結果との間にギャップを残します。
このギャップに対処するため、私たちはDeliverBenchを紹介します。
ファイナンシャル・デュリジェンス、法的契約の起草、医薬品の安全報告などを含む11のプロジェクトは、13のドメインの専門家によって、実際の素材と150のサブタスクから2～15ラウンドの新たな素材と顧客からのフィードバックによって再構築されている。
参照出力が注入されないため、エージェントはそれぞれのエラーを1つのタスクから次のタスクに継承する。
専門家のルーリックは、すべてのチェックポイントと最終パッケージをスコアする。
7つのモデルハーネスシステムの中で、最高のシステムでさえ最終納入時に100点中65.0点しか得点せず、90点の閾値で50.0%のサブタスクをパスしている。
1つの監査プロジェクトでは、7つのシステムがレビューの結果に対処しましたが、保存されたトレーサビリティはたった1つでした。
これらの結果は、タスクレベルの能力が単にデリバリに構成されるのではなく、作業の一貫性を維持することに依存することを示唆している。
関連論文リスト
- SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition [52.51270668013944]
ロングホライゾンエージェントは、後のアクティビティが以前の出力と共有状態の変更に依存するように完了しなければならない。
SkillHorizonは、7つのビジネス環境でのスキル構成を通じて長期タスクを構築するベンチマークである。
我々は,64Kから1Mトークンの参照インタラクションワークロードを用いた1,050タスクの5つの言語モデルを評価する。
論文 参考訳（メタデータ） (2026-10-10T14:36:39Z) - Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress [59.76726249334829]
本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。
LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。
拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
論文 参考訳（メタデータ） (2026-10-09T15:22:53Z) - AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。
同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。
我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-10-08T01:03:48Z) - Zero2Repo: Can Coding Agents Build Repositories from Scratch? [33.79367580283551]
コーディングエージェントは、パッチをパッチするのではなく、ソフトウェアを構築するように求められている。
エージェントが製品要求文書、インターフェース契約、空のワークスペースを受信するベンチマークであるZero2Repoを紹介する。
タスクは言語に依存しないオーサリングパイプラインによって生成されます。
論文 参考訳（メタデータ） (2026-09-29T14:10:23Z) - Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents [16.70932968825709]
本稿では,タスク命令をコンパクトなアーティファクトから分離するナレッジ付きタスク構築プロトコルを提案する。
1つのフロンティアエージェント構成は、アーティファクトで68.0%のパスレート、それなしで0%のパスレートを達成する。
保持されたタスクがポストトレーニングを改善するという確証はない。
論文 参考訳（メタデータ） (2026-08-31T06:39:27Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks [0.0]
他のエージェントやエンジニアが残した部分的な状態からタスクを中断し、再割り当てし、レビューし、再開するからです。
前任者の作業が不透明あるいは不完全である場合に課される再検討コスト。
我々の乗っ取りプロトコルは、決定論的ハンドオフポイントで符号化エージェントを中断し、リポジトリを凍結し、4つのハンドオフビューで後継エージェントを評価する。
論文 参考訳（メタデータ） (2026-06-01T20:40:38Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。