論文の概要: WorkBench Revisited: Workplace Agents Two Years On
- arxiv url: http://arxiv.org/abs/2606.13715v1
- Date: Wed, 10 Jun 2026 21:21:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.516946
- Title: WorkBench Revisited: Workplace Agents Two Years On
- Title（参考訳）: WorkBenchが再考: 職場エージェントは2年ぶりに登場
- Authors: Olly Styles,
- Abstract要約: 2024年3月のWorkBenchのベストエージェントであるGPT-4は、タスクの43%を完了し、不正な人へのメールなどの意図しない有害行為を26%で実施した。
我々は2026年6月にベンチマークを再訪し、これまでで最高のエージェントであるClaude Opus 4.8が89%を完了し、2.5%で意図しない有害な措置を講じていることを発見した。
- 参考スコア（独自算出の注目度）: 1.2691047660244335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The best agent on WorkBench in March 2024, GPT-4, completed 43% of tasks and took an unintended harmful action, such as emailing the wrong person, on 26% of them. We re-visit the benchmark in June 2026 and find that the best agent to date, Claude Opus 4.8, completes 89% and takes an unintended harmful action on 2.5%. Aside from this considerable progress in frontier agent performance, three things stand out. First, capability and safety go together on WorkBench rather than trade off, so the models that finish the most tasks also do the least unintended damage. Second, while several classes of error have been totally eliminated, frontier models still make some basic mistakes that occasionally result in irreversible harm, such as sending an email to the wrong person. Third, the rise of open-weight models has drastically lowered costs for a performance level that was previously only accessible to proprietary models, while frontier costs have stayed relatively stable. We release an updated version of the benchmark with data and code quality improvements, new model scores, and analysis of agent progress on WorkBench since 2024.
- Abstract（参考訳）: 2024年3月のWorkBenchのベストエージェントであるGPT-4は、タスクの43%を完了し、不正な人へのメールなどの意図しない有害行為を26%で実施した。
我々は2026年6月にベンチマークを再訪し、これまでで最高のエージェントであるClaude Opus 4.8が89%を完了し、2.5%で意図しない有害な措置を講じていることを発見した。
このフロンティアエージェントのパフォーマンスのかなりの進歩は別として、3つの点が際立っている。
第一に、機能と安全性はトレードオフではなくWorkBench上で連携するので、ほとんどのタスクを完了したモデルも意図しないダメージを受けます。
第二に、いくつかのエラーのクラスが完全に排除されているが、フロンティアモデルは、時に間違った人にメールを送るなど、不可逆的な害をもたらす基本的なミスを犯している。
第三に、オープンウェイトモデルの台頭は、これまでプロプライエタリなモデルにしかアクセスできなかったパフォーマンスレベルのコストを大幅に削減しましたが、フロンティアコストは比較的安定しています。
我々は、データとコード品質の改善、新しいモデルスコア、2024年以降のWorkBenchにおけるエージェントの進捗分析を含む、ベンチマークの更新版をリリースした。
関連論文リスト
- Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - JobBench: Aligning Agent Work With Human Will [121.39878639038716]
JobBenchは、専門家がデリゲートの優先度が高いと判断する上で、AIエージェントを評価する。
JobBenchは、35の職業にまたがる130のエージェントタスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-25T21:07:02Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Agentic Frameworks for Reasoning Tasks: An Empirical Study [2.210207223867301]
BBH, GSM8K, ARCの3つの推論ベンチマークにおいて, 広く使用されている22のエージェントフレームワークを実証的に評価した。
我々はそれらを統一的な設定で評価し、推論精度、実行時間、計算コスト、ベンチマーク間の整合性を測定した。
貧弱な結果は、主に制限を推論するのではなく、オーケストレーションの問題によって引き起こされた。
論文 参考訳（メタデータ） (2026-04-17T19:02:54Z) - AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling [12.42698406379544]
AgentHERは、自然言語エージェントトラジェクトリにHindsight Experience原則を適用することで、失われたトレーニング信号を回復する。
破棄された障害を高品質のSFT、DPO、ShareGPTトレーニングデータに変換する。
WebArena Replay (Zhou et al., 2024)とToolBench (Qin et al., 2024)では、AgentHERは4つのモデルファミリーで成功のみのSFTを+7.1-11.7ppで改善している。
論文 参考訳（メタデータ） (2026-03-22T18:36:58Z) - BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。