論文の概要: ServerBench: How can your coding agents design specialized LLM serving systems?
- arxiv url: http://arxiv.org/abs/2611.06841v1
- Date: Wed, 04 Nov 2026 17:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.225562
- Title: ServerBench: How can your coding agents design specialized LLM serving systems?
- Title(参考訳): ServerBench: コーディングエージェントは、どのようにして特殊なLLMサービスシステムを設計できますか?
- Abstract要約: 大規模言語モデル(LLM)コーディングエージェントは、実験を通じてソフトウェアを開発し、自身の操作をサポートするサービスシステムを設計する機会を提供する。
完全特殊LLMサービスシステムのエージェント設計のためのベンチマークであるServerBenchを紹介する。
- 参考スコア(独自算出の注目度): 30.95547564715339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) coding agents develop software through experimentation, offering an opportunity to design the serving systems supporting their own operation. Effective serving requires coordinating implementation and operating decisions under session dependencies, latency constraints, and correctness requirements. We introduce ServerBench, a benchmark for agentic design of complete, specialized LLM serving systems. Agents experiment against a common objective, dollars per dollar: latency-qualified token value per dollar of GPU cost. Stateful replay preserves session dependencies, and independent verification checks the submitted system. Across 11 coding-agent models and three deployments, Claude Sonnet 5.5 achieves 2.97 dollars per dollar on Gemma E4B, $4.87\times$ the vLLM reference; 22 of 33 runs yield verified systems, and 13 exceed the strongest baseline. Our analysis identifies three findings: high-value designs coordinate capacity improvements with load selection; agents interpret performance feedback through workload-relevant experiments; and reliable delivery requires verification of the execution paths introduced by optimization. Overall, ServerBench supports systematic study of how agents translate service objectives and feedback into effective, verified serving systems for given task specifications.
- Abstract(参考訳): 大規模言語モデル(LLM)コーディングエージェントは、実験を通じてソフトウェアを開発し、自身の操作をサポートするサービスシステムを設計する機会を提供する。
効果的なサービスには、セッション依存性、レイテンシの制約、正確性要件の下での実装と運用の決定を調整する必要がある。
完全特殊LLMサービスシステムのエージェント設計のためのベンチマークであるServerBenchを紹介する。
エージェントは共通の目的である1ドル当たりドルに対して実験を行う。
ステートフルリプレイはセッションの依存関係を保持し、独立した検証は提出されたシステムをチェックする。
11のコーディングエージェントモデルと3つのデプロイで、Claude Sonnet 5.5はGemma E4Bで1ドル当たり2.97ドル、vLLM参照で4.87ドル、33の22のシステムで最強のベースラインを超えている。
本分析では,高価値設計による負荷選択によるキャパシティ改善,作業負荷関連実験による性能フィードバックの解釈,信頼性の高いデリバリでは,最適化によって導入された実行パスの検証が必要である,という3つの知見を同定した。
全体として、ServerBenchは、エージェントがサービス目的とフィードバックを与えられたタスク仕様に対して効果的な検証済みのサービスシステムに変換する方法の体系的な研究をサポートする。
関連論文リスト
- Agentic Cognitive Depth: Operational Criteria for Evaluating LLM Agents [3.008981940003398]
我々は,エージェント認知深度を5つの操作基準の軌跡レベルプロファイルとして定義する。
プロファイルには、文脈感受性、時間的連続性、マルチモーダル調整、適応的相互作用、メタ認知的モニタリングが含まれる。
本稿では,GAIA,SWE-bench,WebArena,TRIP-Benchなどのベンチマークを基準値毎に拡張するために必要な構造について述べる。
論文 参考訳(メタデータ) (2026-10-03T00:19:23Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳(メタデータ) (2026-10-01T12:55:07Z) - From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems [14.6340263288784]
エージェントアプリケーションは、独立したモデル推論からLLMがツール、環境、永続的な状態を調整する長時間実行されるワークロードにAIを移行している。
AgentSysBenchは10の代表的なエージェントアプリケーションと統一されたシステムレベルのインスツルメンテーションを備えたベンチマークスイートと測定ツールキットである。
論文 参考訳(メタデータ) (2026-08-15T09:02:16Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳(メタデータ) (2026-07-18T04:46:53Z) - Code Broker: A Multi-Agent System for Automated Code Quality Assessment [0.0]
我々はGoogle Agent Development Kit ADKで構築されたマルチエージェントシステムであるCode Brokerを紹介する。
ファイル、ローカルディレクトリ、GitHubリポジトリからPythonコードを解析し、実行可能な品質評価レポートを生成する。
論文 参考訳(メタデータ) (2026-04-25T00:53:59Z) - AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent [18.58248061903799]
AgentOptは、クライアントサイドAI最適化のための最初のフレームワークに依存しないPythonパッケージである。
我々はまず,マルチステップエージェントパイプラインにおける高インパクト最適化レバーであるモデル選択について検討する。
指数関数的に増加する組み合わせ空間を効率的に探索するために、AgentOptは10の検索アルゴリズムを実装している。
論文 参考訳(メタデータ) (2026-04-07T17:13:47Z) - MASEval: Extending Multi-Agent Evaluation from Models to Systems [77.09381093359598]
MASEvalはフレームワークに依存しないライブラリで、システム全体を分析の単位として扱う。
研究者はエージェントシステムのすべてのコンポーネントを探索し、原則化されたシステム設計のための新たな道を開くことができる。
論文 参考訳(メタデータ) (2026-03-09T18:46:17Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳(メタデータ) (2026-02-02T05:17:23Z) - A Self-Improving Coding Agent [23.44829720834145]
LLM(Large Language Models)は、LLMエージェントを世界に向けて展開することへの関心を喚起している。
本稿では,基本的なコーディングツールを備えたエージェントシステムが,自らを自律的に編集し,ベンチマークタスクの性能を向上させることを実証する。
論文 参考訳(メタデータ) (2025-04-21T16:58:18Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-27T12:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。