論文の概要: Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction
- arxiv url: http://arxiv.org/abs/2607.20911v1
- Date: Thu, 23 Jul 2026 04:34:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.275733
- Title: Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction
- Title（参考訳）: Tencent WorkBuddy Bench: 汚染耐性タスク構築を備えたマルチドメインコーディングベースのベンチマーク
- Abstract要約: Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
- 参考スコア（独自算出の注目度）: 57.138342889101345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Tencent WorkBuddy Bench, a multi-domain evaluation suite for coding agents; this report documents its construction methodology, scoring protocol, and a cross-model leaderboard. At its core is a unified evaluation framework for constructing and running distribution-informed coding-agent tasks across four work domains - Code, Web, Office, and Security. Rather than adapting public issue text, every task is reverse-engineered from a real commit, pull request, or business scenario and rewritten as a short, colloquial, role-played request, so that a task's prompt is not recoverable by web-searching the underlying issue, pull request, or commit thread. Because the dataset is released openly - task directories, environment images, evaluation harness, tests, and reference solutions - contamination resistance rests on this construction together with dataset versioning rather than on secrecy. The four subsets - repository-level engineering, front-end development, office and business workflows, and red-/blue-team security - probe complementary facets of real work, each with its own verification style. All are packaged in a uniform task-directory format and run, under a uniform and reproducible protocol, on two agent harnesses (CodeBuddy Code and Claude Code); the full open release makes the benchmark reproducible end to end and directly auditable, since any third party can re-run each task and inspect its content. Because each subset uses a different scoring instrument, scores are not comparable across subsets and the suite reports no suite-wide average. We report a cross-model leaderboard across several model families.
- Abstract（参考訳）: コーディングエージェントのためのマルチドメイン評価スイートであるTencent WorkBuddy Benchを紹介します。
コアとなるのは、4つの作業ドメイン(コード、Web、オフィス、セキュリティ)にわたる分散インフォームドコーディングエージェントタスクの構築と実行のための統一的な評価フレームワークである。
公開イシューテキストを適用する代わりに、すべてのタスクは実際のコミット、プルリクエスト、ビジネスシナリオからリバースエンジニアリングされ、短い、口頭でロールプレイされたリクエストとして書き直される。
データセットはオープンにリリースされている - タスクディレクトリ、環境イメージ、評価ハーネス、テスト、リファレンスソリューションなど。
4つのサブセット – リポジトリレベルのエンジニアリング、フロントエンド開発、オフィスとビジネスのワークフロー、赤/青のチームセキュリティ – は、それぞれ独自の検証スタイルで、実際の作業の補完的な側面を調査する。
すべて統一されたタスク指向フォーマットでパッケージされ、一様で再現可能なプロトコルの下で、2つのエージェントハーネス(CodeBuddy CodeとClaude Code)上で実行される。
各サブセットは異なるスコア楽器を使用するため、スコアはサブセット間で比較されず、スイート全体の平均は報告されない。
いくつかのモデルファミリーにまたがるクロスモデルリーダーボードを報告する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows [2.281697288703173]
Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。
独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。
Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
論文 参考訳（メタデータ） (2026-08-20T07:37:57Z) - HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following [0.8998688639218773]
Handbook_mdは、従業員が会社のハンドブックに従う方法をモデル化した65のエージェントタスクのベンチマークである。
タスクは5つのドメイン(ファイナンス、医療請求、保険、物流、人事)と10の架空の会社にまたがる。
それぞれのタスクは、要求されたアクションが発生し、禁止されたアクションが起こらなかったことの両方をチェックする、プログラム的な基準のルーリックを持っています。
論文 参考訳（メタデータ） (2026-07-28T07:58:07Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves [1.0312968200748116]
大規模な言語モデルは、実質的なコードと研究テキストを生成することができるが、研究ソフトウェアプロジェクトは、どちらのアーティファクトも必要としない。
我々は,幻覚の蓄積とデシンクロナイゼーションという,LM固有の障害モードを2つ同定する。
本研究では,1つのワークスペース状態の座標として,アイデア,実装,評価,グラウンド,ペーパーライティングを編成する反復的プロンプトであるComet-Hを提案する。
論文 参考訳（メタデータ） (2026-04-29T21:28:17Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Code Broker: A Multi-Agent System for Automated Code Quality Assessment [0.0]
我々はGoogle Agent Development Kit ADKで構築されたマルチエージェントシステムであるCode Brokerを紹介する。
ファイル、ローカルディレクトリ、GitHubリポジトリからPythonコードを解析し、実行可能な品質評価レポートを生成する。
論文 参考訳（メタデータ） (2026-04-25T00:53:59Z) - DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。
セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
論文 参考訳（メタデータ） (2025-09-30T18:47:20Z) - CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。
私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。
実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
論文 参考訳（メタデータ） (2024-07-01T17:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。