論文の概要: AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints
- arxiv url: http://arxiv.org/abs/2608.00805v1
- Date: Sat, 01 Aug 2026 18:17:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.920021
- Title: AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints
- Title（参考訳）: AgentSLABench: リソース制約下でのエージェントシステムの評価とベンチマーク
- Abstract要約: AgentSLABenchは、自律型AIエージェントのためのリソース認識評価フレームワークである。
宣言されたリソース予算の下で、レイテンシ、コスト、計算、メモリ、ネットワーク使用量とともに正確性を測定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We present AgentSLABench, a resource-aware evaluation framework for autonomous AI agents that measures correctness alongside latency, cost, compute, memory, and network usage under declared resource budgets. Unlike standard benchmarks that report only accuracy, AgentSLABench produces a multi-dimensional profile per agent per task - the same way systems profilers (perf, pprof, cProfile) measure resource consumption of code, but extended with task correctness as a first-class dimension. AgentSLABench provides 16 task environments across 6 categories (5 core: multi-hop QA, retail substitution, code generation, web shopping, travel planning; 11 extended) with isolated Docker containers, declared CPU/memory/time/network budgets, sealed test sets with SHA256 hashes, and a standardized profiling protocol. We profile 5 general-purpose baseline agents (ReAct, PlanAndSolve, Reflexion, CoT, Random) plus 4 task-specialized agents, finding that specialized agents achieve 100% success on 3/5 core tasks (fact_qa, web_shopping, travel_planning) and 66.7-83.3% on retail and code_gen, while general baselines fail entirely on 4/5 domain tasks. Crucially, we report the Efficiency-Adjusted Success Rate (EASR) - success weighted by resource consumption relative to declared budgets - revealing that high accuracy at unbounded cost is not production-viable. We release the full infrastructure, sealed test sets, and profiling results to enable reproducible, resource-aware agent evaluation.
- Abstract（参考訳）: 我々は、宣言されたリソース予算の下で、レイテンシ、コスト、計算、メモリ、ネットワーク使用量とともに正確性を測定する、自律型AIエージェントのためのリソース認識評価フレームワークであるAgentSLABenchを紹介する。
AgentSLABenchは、正確さのみを報告している標準ベンチマークとは異なり、タスク毎のエージェント毎の多次元プロファイルを生成する。
AgentSLABenchは6つのカテゴリ(コア:マルチホップQA、小売代用、コード生成、Webショッピング、旅行計画、11拡張)にわたる16のタスク環境を提供し、Dockerコンテナを分離し、CPU/メモリ/時間/ネットワーク予算を宣言し、SHA256ハッシュでシールされたテストセットと、標準化されたプロファイリングプロトコルを提供する。
我々は5つの汎用ベースラインエージェント(ReAct, PlanAndSolve, Reflexion, CoT, Random)と4つのタスク特化エージェントをプロファイルし、専門エージェントが3/5コアタスク(fact_qa, web_shopping, travel_planning)と66.7-83.3%の小売およびcode_genで100%成功し、一般的なベースラインは4/5ドメインタスクで完全に失敗することを発見した。
重要なことは、未定のコストでの高い正確性は生産可能ではないことを明らかにした、効率調整成功率(EASR) - 宣言された予算に対する資源消費の重み付けによる成功を報告します。
我々は、再現可能なリソース対応エージェントの評価を可能にするために、完全なインフラストラクチャ、封じ込めテストセット、プロファイリング結果をリリースする。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents [79.28372522980153]
PeakBenchは、実行可能なマルチツール依存アノテーションと測定リソースプロファイルのベンチマークである。
我々は,強い論理的計画が資源制約下での安全あるいは効率的な実行に確実に変換されないことを示す。
PeakBenchは、リソース認識エージェントの振る舞いの診断に有用なテストベッドである。
論文 参考訳（メタデータ） (2026-08-25T12:56:08Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-07-11T00:57:36Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。
8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。
最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
論文 参考訳（メタデータ） (2026-06-20T11:34:52Z) - Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams [14.784600350594614]
LLMエージェントは、プランナー、エグゼキュータ、検証といった特別な役割にタスクを分割するマルチロールチームとして、ますます多くデプロイされている。
既存のエージェントベンチマークは、固定モデルまたは固定エージェント構成を評価し、コスト-正確/最適デプロイメントのための限定的なガイダンスを提供する。
本稿では,LLMエージェントチームを評価するためのロール対応ベンチマークスイートであるAgentCARDについて紹介する。
論文 参考訳（メタデータ） (2026-05-28T17:12:20Z) - Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。
プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。
レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
論文 参考訳（メタデータ） (2026-05-01T21:17:55Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Alita-G: Self-Evolving Generative Agent for Agent Generation [54.49365835457433]
汎用エージェントをドメインエキスパートに変換するフレームワークであるALITA-Gを提案する。
このフレームワークでは、ジェネラリストエージェントが対象ドメインタスクのキュレートされたスイートを実行する。
計算コストを削減しながら、大きな利益を得ることができます。
論文 参考訳（メタデータ） (2025-10-27T17:59:14Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。