論文の概要: ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

• arxiv url: http://arxiv.org/abs/2606.05548v1
• Date: Thu, 04 Jun 2026 01:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.456154
• Title: ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer
• Title（参考訳）: ADK Arena: LLM-as-a-Developerによるエージェント開発キットの評価
• Authors: Jintao Huang, Xiaomin Li, Gaurav Mittal, Yu Hu,
• Abstract要約: textbfLLM-as-a-Developerは、ドキュメントから各フレームワークのAPIを学習し、エージェントコードを書き、テストが通過するまで検証とフィードバックのループを通じて繰り返し修正するLLMコーディングエージェントで、人間の開発者を置き換える。 textbfADK Arenaは、フレーム単位のDocker分離、3レベル検証パイプライン、SWE-bench、2$-bench、Terminal-Bench、MCP-Atlas用のベンチマークアダプタを備えた、完全に自動化されたパイプラインです。
• 参考スコア（独自算出の注目度）: 15.00724508326096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid proliferation of Agent Development Kits (ADKs), SDK-level frameworks for building LLM-powered autonomous agents, has outpaced any empirical understanding of how framework choice affects agent performance. We propose \textbf{LLM-as-a-Developer}, a methodology that replaces human developers with an LLM coding agent that learns each framework's API from documentation, writes agent code, and iteratively repairs it through a validate-and-feedback loop until tests pass. By holding the developer constant and varying only the framework, generation effort becomes a quantitative proxy for API usability and the resulting agents provide a controlled measure of framework effectiveness. We implement this in \textbf{ADK Arena}, a fully automated pipeline with per-framework Docker isolation, a three-level validation pipeline, and benchmark adapters for SWE-bench, $τ^2$-bench, Terminal-Bench, and MCP-Atlas. Evaluating all 51 popular Python ADK frameworks (204 agent--benchmark pairs), we find that: (1)~generation succeeds for 57\% of runs, and its cost varies 5.6$\times$ across frameworks (\$0.6 to \$3.4 per agent), a quantitative proxy for API complexity, though cost alone does not predict success; (2)~no single framework dominates: the best single-benchmark ADK agents resolve up to 80\% of tasks and can even \emph{beat} general-purpose frontier coding agents at a fraction of the cost, yet the median framework resolves only 32\%; (3)~across information-source ablations, genuine framework usage stays within a narrow 28--40\% band (highest with raw source access and still 33\% with no reference material at all), indicating that documentation, source code, and parametric knowledge are largely substitutable rather than any one being a hard bottleneck.
• Abstract（参考訳）: LLMを動力とする自律エージェントを構築するためのSDKレベルのフレームワークであるエージェント開発キット(ADK)の急速な普及は、フレームワークの選択がエージェントのパフォーマンスにどのように影響するかに関する実証的な理解を上回っている。 これは、文書から各フレームワークのAPIを学習し、エージェントコードを書き、テストが通過するまで検証とフィードバックのループを通じて反復的にそれを修復するLLMコーディングエージェントで、人間の開発者を置き換える方法論である。 開発者の定数を保持し、フレームワークのみを変更することで、生成作業はAPIのユーザビリティの定量的プロキシとなり、その結果のエージェントはフレームワークの有効性の制御された指標を提供する。 フレームワークごとのDocker分離,3レベル検証パイプライン,SWE-bench,$τ^2$-bench, Terminal-Bench, MCP-Atlas用のベンチマークアダプタを備えた,完全な自動化パイプラインである。 51の人気のあるPython ADKフレームワーク(204のエージェント-ベンチマークペア)を評価すると、次のことが分かる: (1) - 生成が57\%で成功し、そのコストは5.6$\times$で、フレームワーク全体にわたる(エージェント当たり0.6から3.4ドル)、API複雑性の定量的プロキシは、成功を予測していないが、(2) - 単一のフレームワークが支配する: 最高のシングルベンチマークADKエージェントは、タスクの最大80\%を解決し、さらには‘emph{beat} 汎用フロンティアコーディングエージェントでさえ、わずか32\%でしか解決できない。

関連論文リスト

• MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation [11.486913474115402]
  本稿では,メタ認知自己評価ユニットを備えた多エージェント大規模言語モデル(LLM)フレームワークであるMetaCogAgentを提案する。 MetaCogAgentは、AutoGenよりも5%少ないAPIコールを使用し、アンサンブル投票よりも34%少ないタスク精度を82.4%達成している。
  論文  参考訳（メタデータ） (2026-05-17T07:12:04Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Deep Researcher Agent: An Autonomous Framework for 24/7 Deep Learning Experimentation with Zero-Cost Monitoring [2.4112990554464235]
  textbfDeep Researcher Agentは,大規模言語モデル(LLM)エージェントが時計周辺で自律的にディープラーニング実験を行うことを可能にする,オープンソースのフレームワークである。 論文作成やコード生成に重点を置く既存のAI研究アシスタントとは異なり、私たちのシステムは仮説形成、コード実装、トレーニング実行、結果分析、反復的洗練という、完全な実験ライフサイクルに対処しています。
  論文  参考訳（メタデータ） (2026-04-07T13:16:31Z)
• Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation [0.0]
  Agent-Diffは、エージェント言語モデル(LLM)を、外部API経由でコードを実行する現実世界のタスクで評価するためのベンチマークフレームワークである。 エンタープライズソフトウェアを利用する224のタスクにまたがる9つのLLMのベンチマークを提供する。 また、ベンチマークパフォーマンスにおけるAPIドキュメントへのアクセスの寄与を評価するために、アブレーション実験によるフレームワークの堅牢性を評価する。
  論文  参考訳（メタデータ） (2026-02-11T13:31:18Z)
• DDL2PropBank Agent: Benchmarking Multi-Agent Frameworks' Developer Experience Through a Novel Relational Schema Mapping Task [9.51787137194505]
  DDL2PropBankは、関係データベーススキーマをPropBankロールセットにマッピングする新しいベンチマークタスクである。 10のフレームワークで同一のエージェントロジックを実装し、(i)静的解析によるコードの複雑さと(ii)AIアシスト性という2つの次元に沿って評価する。 Pydantic AIとAgnoは最小限の実装オーバーヘッドを必要とする。
  論文  参考訳（メタデータ） (2026-02-03T01:10:59Z)
• CodeAgents: A Token-Efficient Framework for Codified Multi-Agent Reasoning in LLMs [16.234259194402163]
  マルチエージェント推論を符号化し、マルチエージェントシステムにおける構造化されたトークン効率の計画を可能にするプロンプトフレームワークであるCodeAgentsを紹介する。 その結果, 計画性能は一貫した改善がみられ, 基本となる自然言語よりも3～36ポイントの絶対的な向上が見られた。
  論文  参考訳（メタデータ） (2025-07-04T02:20:19Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。