論文の概要: WorkBench Revisited: Workplace Agents Two Years On

• arxiv url: http://arxiv.org/abs/2606.13715v1
• Date: Wed, 10 Jun 2026 21:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.516946
• Title: WorkBench Revisited: Workplace Agents Two Years On
• Title（参考訳）: WorkBenchが再考: 職場エージェントは2年ぶりに登場
• Abstract要約: 2024年3月のWorkBenchのベストエージェントであるGPT-4は、タスクの43%を完了し、不正な人へのメールなどの意図しない有害行為を26%で実施した。 我々は2026年6月にベンチマークを再訪し、これまでで最高のエージェントであるClaude Opus 4.8が89%を完了し、2.5%で意図しない有害な措置を講じていることを発見した。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The best agent on WorkBench in March 2024, GPT-4, completed 43% of tasks and took an unintended harmful action, such as emailing the wrong person, on 26% of them. We re-visit the benchmark in June 2026 and find that the best agent to date, Claude Opus 4.8, completes 89% and takes an unintended harmful action on 2.5%. Aside from this considerable progress in frontier agent performance, three things stand out. First, capability and safety go together on WorkBench rather than trade off, so the models that finish the most tasks also do the least unintended damage. Second, while several classes of error have been totally eliminated, frontier models still make some basic mistakes that occasionally result in irreversible harm, such as sending an email to the wrong person. Third, the rise of open-weight models has drastically lowered costs for a performance level that was previously only accessible to proprietary models, while frontier costs have stayed relatively stable. We release an updated version of the benchmark with data and code quality improvements, new model scores, and analysis of agent progress on WorkBench since 2024.
• Abstract（参考訳）: 2024年3月のWorkBenchのベストエージェントであるGPT-4は、タスクの43%を完了し、不正な人へのメールなどの意図しない有害行為を26%で実施した。 我々は2026年6月にベンチマークを再訪し、これまでで最高のエージェントであるClaude Opus 4.8が89%を完了し、2.5%で意図しない有害な措置を講じていることを発見した。 このフロンティアエージェントのパフォーマンスのかなりの進歩は別として、3つの点が際立っている。 第一に、機能と安全性はトレードオフではなくWorkBench上で連携するので、ほとんどのタスクを完了したモデルも意図しないダメージを受けます。 第二に、いくつかのエラーのクラスが完全に排除されているが、フロンティアモデルは、時に間違った人にメールを送るなど、不可逆的な害をもたらす基本的なミスを犯している。 第三に、オープンウェイトモデルの台頭は、これまでプロプライエタリなモデルにしかアクセスできなかったパフォーマンスレベルのコストを大幅に削減しましたが、フロンティアコストは比較的安定しています。 我々は、データとコード品質の改善、新しいモデルスコア、2024年以降のWorkBenchにおけるエージェントの進捗分析を含む、ベンチマークの更新版をリリースした。

関連論文リスト

• EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction [14.50182233464472]
  我々は,各タスクのコストを削減するために,効率の相補軸である早期結果予測を導入する。 EarlyEvalはエージェントステップの13%-26%、入力トークン44.1%、出力トークン29.4%を89%～97%の精度で除去できる。
  論文  参考訳（メタデータ） (2026-09-02T16:15:18Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• Reasoning effort, not tool access, buys first-try reliability in agentic code generation: an observational study [0.0]
  90の独立したエージェントが、1つの詳細な仕様から、リアルタイムのレトロスペクティブボードである同じアプリケーションを構築します。 実行は、いくつかのモデル世代、エージェントハーネス2つ、推論作業レベル2つ、テストツール1つ、設計指向のプロンプト2つにまたがった。 テストツールのコストは42～68%向上し、インターフェースの可視性も向上した。
  論文  参考訳（メタデータ） (2026-07-02T17:08:21Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• JobBench: Aligning Agent Work With Human Will [121.39878639038716]
  JobBenchは、専門家がデリゲートの優先度が高いと判断する上で、AIエージェントを評価する。 JobBenchは、35の職業にまたがる130のエージェントタスクをカバーしている。
  論文  参考訳（メタデータ） (2026-05-25T21:07:02Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Agentic Frameworks for Reasoning Tasks: An Empirical Study [2.210207223867301]
  BBH, GSM8K, ARCの3つの推論ベンチマークにおいて, 広く使用されている22のエージェントフレームワークを実証的に評価した。 我々はそれらを統一的な設定で評価し、推論精度、実行時間、計算コスト、ベンチマーク間の整合性を測定した。 貧弱な結果は、主に制限を推論するのではなく、オーケストレーションの問題によって引き起こされた。
  論文  参考訳（メタデータ） (2026-04-17T19:02:54Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling [12.42698406379544]
  AgentHERは、自然言語エージェントトラジェクトリにHindsight Experience原則を適用することで、失われたトレーニング信号を回復する。 破棄された障害を高品質のSFT、DPO、ShareGPTトレーニングデータに変換する。 WebArena Replay (Zhou et al., 2024)とToolBench (Qin et al., 2024)では、AgentHERは4つのモデルファミリーで成功のみのSFTを+7.1-11.7ppで改善している。
  論文  参考訳（メタデータ） (2026-03-22T18:36:58Z)
• BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
  高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-10-22T17:58:56Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。