論文の概要: One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
- arxiv url: http://arxiv.org/abs/2608.19741v1
- Date: Thu, 20 Aug 2026 07:37:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.485565
- Title: One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
- Title（参考訳）: ひとつの成功は信頼性ではない - ステートフルなビジネスワークフローにおけるエージェントのためのサンドボックスとベンチマークであるThinkingbox
- Abstract要約: Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。
独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。
Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
- 参考スコア（独自算出の注目度）: 2.281697288703173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent agent benchmarks increasingly ground evaluation in executable environments, from code repair to web navigation, app APIs, and function calling. Yet completing consequential work beyond code requires more than producing a plausible response or valid tool call: agents must gather missing information over multiple turns, follow domain policies, coordinate dependent tools, and realize the correct persistent state transition without collateral effects. In this paper, we introduce Thinkingbox, a sandbox for tool-agent-user interaction that provides isolated MCP-compatible tool sessions, complete execution traces, and outcome evaluation over terminal backend state. Built on this sandbox, Thinkingbox-bench contains 507 policy-conditioned workflows across numerous scenarios, including retail, hospitality, auto insurance, neobank internal IT, and consulting IT/HR support. Each attempt is evaluated by task-specific executable checks that accept valid trajectories while rejecting wrong, missing, or extra effects; designated tasks additionally check required properties of the final response. Across proprietary and open-weight models, the strongest achieves 65.36% pass@1, but only 25.25% pass^20. Moreover, many failed trials show clean termination and valid state-changing actions, showing that response or tool-call-level signals are not clear proxies for end-to-end task completion. Thinkingbox-bench reveals a large gap between occasionally finding a successful trajectory and reliably completing stateful business tasks. We release both Thinkingbox and Thinkingbox-Bench: https://github.com/microsoft/thinkingbox
- Abstract（参考訳）: 最近のエージェントベンチマークでは、コード修復からWebナビゲーション、アプリAPI、関数呼び出しに至るまで、実行環境において評価が下降している。
エージェントは複数のターンにまたがって行方不明の情報を収集し、ドメインポリシーに従い、依存するツールをコーディネートし、副作用なく正しい永続状態遷移を実現する必要がある。
本稿では,MSP互換のツールセッション,完全な実行トレース,端末のバックエンド状態に対する結果評価を提供するツール-エージェント-ユーザインタラクション用サンドボックスであるThinkingboxを紹介する。
このサンドボックス上に構築されたThinkingbox-benchには、小売、ホスピタリティ、自動車保険、ネオバンク内部IT、コンサルティングIT/HRサポートなど、さまざまなシナリオで507のポリシー付きワークフローが含まれている。
それぞれの試行はタスク固有の実行可能チェックによって評価され、間違った、欠落した、あるいは余分な効果を拒絶しながら有効な軌道を受理する。
プロプライエタリモデルとオープンウェイトモデル全体では65.36%のパス@1を達成しているが、25.25%のパス^20しか達成していない。
さらに、多くの失敗した試行では、クリーン終了と有効な状態変更動作を示し、応答やツールコールレベルの信号がエンドツーエンドのタスク完了のための明確なプロキシではないことを示す。
Thinkingbox-benchは、時折成功した軌道を見つけることと、ステートフルなビジネスタスクを確実に完了することの間に大きなギャップを明らかにします。
ThinkingboxとThinkingbox-Benchの両方をリリースします。
関連論文リスト
- TraceGrant: A Contract-Governed Security Framework for the Task-Effect Lifecycle of Networked LLM Agents [7.080139152914316]
本稿では,ネットワーク化されたLLMエージェントのタスク・エフェクト・ライフサイクルを管理するセキュリティ・フレームワークであるTraceGrantを紹介する。
実行前にTraceGrantは、信頼されたユーザリクエストからタスク・エフェクト境界を確立する。
実行中、承認された証拠は、契約によって既に確立された権限のみをインスタンス化することができる。
実行後、実際のツール結果に対してタスク完了が検証される。
論文 参考訳（メタデータ） (2026-08-21T14:05:42Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。
このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。
マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
論文 参考訳（メタデータ） (2026-07-13T17:13:09Z) - Push Your Agent: Measuring and Enforcing Quantitative Goal Persistence in Long-Horizon LLM Agents [7.058932007120959]
ロングホライズン言語エージェントは、要求されたカウントが実際に完了するまで多くの有効なローカルツールコールを行うことができるが、持続しない。
本稿では,このギャップを定量的ゴールパーシステンス(QGP)として検討する。
PushBenchはこれを、リポジトリアーティファクトコレクションと検証済みのワークユニットのベンチマークにする。
論文 参考訳（メタデータ） (2026-05-22T12:44:01Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering [3.2126925586839623]
第一級原理として実行基盤検証を導入する。
我々はこの原理をマルチエージェントフレームワークである AgentFORGE でインスタンス化する。
AgentFORGEtokenはSWE-BENCH Lite上で40.0%の解像度を達成する。
論文 参考訳（メタデータ） (2026-04-13T13:51:13Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。
各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。
また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
論文 参考訳（メタデータ） (2025-08-26T12:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。