論文の概要: $τ^τ$-Bench: An Environment for End-To-End, Realistic Agent Construction

• arxiv url: http://arxiv.org/abs/2609.04611v1
• Date: Fri, 04 Sep 2026 01:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.873814
• Title: $τ^τ$-Bench: An Environment for End-To-End, Realistic Agent Construction
• Title（参考訳）: $τ^τ$-Bench: エンドツーエンドでリアルなエージェント構築のための環境
• Abstract要約: エージェント構築をタスクにするためのベンチマークである$-benchを紹介します。 開発者エージェントには、ビジネスが実際に保持するレコード、要求を持ったクライアント、運用が実行しなければならない運用API、コストとモデルの提供制限が与えられます。 4つのドメインにまたがる53のタスクの中で、最強の構成であるClaude Opus 5は、23.9%の評価シミュレーションに過ぎなかった。
• 参考スコア（独自算出の注目度）: 20.535350290519883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and operate internal systems. Notably, the work of building them is increasingly handed to coding agents, yet existing benchmarks say little about whether an AI system can deliver one under the conditions of a real client engagement. We introduce $τ^τ$-bench (pronounced hyper-tau-bench), a benchmark that makes agent construction the task. A developer agent is given the records a business actually keeps, a client who holds requirements, a production API that operations must run through, a codebase to inherit, and limits on serving cost and models: the same starting point a real engagement provides. From these it must deliver a complete customer-service agent, scored by deploying that agent against held-out simulated users. Across 53 tasks spanning four domains, the strongest configuration, Claude Opus 5 under Claude Code, passes just 23.9% of evaluation simulations. Meanwhile, an expert-authored reference ceiling scores 82.2%. The failures mirror ones human agent developers see: models issue shallow queries in place of deep comprehension of the records, communicate almost nothing to the client, and experiment too little with agent architecture and serving spend, shipping the first design that runs. We aim for $τ^τ$-bench to turn the work of cooperative agent building into a measurable target for coding agents.
• Abstract（参考訳）: LLMエージェントは、急速にプロダクションソフトウェアになり、顧客サービスの処理、紛争の調停、内部システムの運用のためにデプロイされている。 特に、それらを構築する作業はコーディングエージェントに委ねられているが、既存のベンチマークでは、実際のクライアントエンゲージメントの条件下でAIシステムがそれを提供できるかどうかについてはほとんど言及されていない。 エージェント構築を行うベンチマークである$τ^τ$-bench(Hyper-tau-bench)を導入する。 開発者エージェントには、ビジネスが実際に保持しているレコード、要求を持ったクライアント、運用が実行しなければならない運用API、継承するコードベース、コストとモデルの提供制限が与えられます。 これらのエージェントから完全なカスタマーサービスエージェントを提供しなければならず、そのエージェントを保留中のシミュレートされたユーザに対してデプロイすることで得られる。 4つのドメインにまたがる53のタスクの中で、最強の構成であるClaude Opus 5は、23.9%の評価シミュレーションに過ぎなかった。 一方、専門家による基準天井のスコアは82.2%である。 モデルでは、レコードの深い理解の代わりに浅いクエリを発行し、クライアントにほとんど何も伝えません。 我々は、協調エージェントの構築作業が符号化エージェントの計測可能なターゲットになるよう、$τ^τ$-benchを目指しています。

関連論文リスト

• ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer [15.00724508326096]
  textbfLLM-as-a-Developerは、ドキュメントから各フレームワークのAPIを学習し、エージェントコードを書き、テストが通過するまで検証とフィードバックのループを通じて繰り返し修正するLLMコーディングエージェントで、人間の開発者を置き換える。 textbfADK Arenaは、フレーム単位のDocker分離、3レベル検証パイプライン、SWE-bench、2$-bench、Terminal-Bench、MCP-Atlas用のベンチマークアダプタを備えた、完全に自動化されたパイプラインです。
  論文  参考訳（メタデータ） (2026-06-04T01:00:54Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent [18.58248061903799]
  AgentOptは、クライアントサイドAI最適化のための最初のフレームワークに依存しないPythonパッケージである。 我々はまず,マルチステップエージェントパイプラインにおける高インパクト最適化レバーであるモデル選択について検討する。 指数関数的に増加する組み合わせ空間を効率的に探索するために、AgentOptは10の検索アルゴリズムを実装している。
  論文  参考訳（メタデータ） (2026-04-07T17:13:47Z)
• SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications? [21.241252187534055]
  SWE-Bench Mobileは、実運用iOSから派生した現実的なソフトウェアエンジニアリングタスクのコーディングエージェントを評価するためのベンチマークである。 孤立した問題やバグ修正に焦点を当てた既存のベンチマークとは異なり、SWE-Bench Mobileは産業開発における完全な複雑さを捉えている。
  論文  参考訳（メタデータ） (2026-02-10T08:51:11Z)
• ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
  本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。 オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。 我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2026-01-16T08:23:52Z)
• TOM-SWE: User Mental Modeling For Software Engineering Agents [75.28749912645127]
  ToM-SWEは、プライマリ・ソフトウェア・エンジニアリング(SWE)エージェントとライトウェイト・オブ・ミンド(ToM)パートナーエージェントを組み合わせたデュアルエージェントアーキテクチャである。 ToM-SWEは、ユーザー目標、制約、およびインストラクションとインタラクション履歴から好みを推測する。 2つのソフトウェアエンジニアリングベンチマークでは、ToM-SWEはタスクの成功率とユーザの満足度を改善する。
  論文  参考訳（メタデータ） (2025-10-24T16:09:51Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• $Agent^2$: An Agent-Generates-Agent Framework for Reinforcement Learning Automation [5.325886106098561]
  強化学習(RL)エージェント開発は伝統的にかなりの専門知識と反復的な努力を必要とする。 本稿では,完全自動RLエージェント設計のための LLM 駆動型エージェント生成エージェントフレームワークである Agent$2$ を紹介する。 Agent$2$は、自然言語のタスク記述と環境コードを人間の介入なしに実行可能なRLソリューションに変換する。
  論文  参考訳（メタデータ） (2025-09-16T02:14:39Z)
• GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
  実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。 各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。 また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:48:05Z)
• AgentMesh: A Cooperative Multi-Agent Generative AI Framework for Software Development Automation [0.0]
  ソフトウェア開発タスクの自動化に複数のLCMエージェントを併用したPythonベースのフレームワークを提案する。 AgentMeshでは、Planner、Coder、Debugger、Reviewerといった特殊なエージェントが協力して、ハイレベルな要件を完全に実現されたコードに変換する。
  論文  参考訳（メタデータ） (2025-07-26T10:10:02Z)
• CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
  CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。 現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。 この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T17:30:51Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。