論文の概要: AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs
- arxiv url: http://arxiv.org/abs/2609.34683v1
- Date: Mon, 28 Sep 2026 09:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 11:18:51.506345
- Title: AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs
- Title（参考訳）: AgentPerfBench:エージェントLLMの推論性能のベンチマークと評価スイート
- Abstract要約: 我々はエージェント推論のためのベンチマークスイートであるAgenPerfBenchを紹介する。
SWE-BenchやTerminalBenchといったエージェントベンチマークの本当のトレースと、標準的なチャットベースラインを使用している。
AgentPerfBenchはまた、入力長さ、出力長さ、実際のトレースから派生したターン数などの経験的分布をサンプリングし、新しいハードウェアの安価で正確な測定のための合成プロファイルを生成する。
我々はこれらの問題を詳細に議論し、メモリ帯域幅とメモリ容量のフットプリントのハードウェアシステム制限をキャプチャする新しい多次元モデルを構築するために、カーネルレベルのNsight Computeトレースを提供する。
- 参考スコア（独自算出の注目度）: 39.76344176950261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimization of LLM serving engines, such as vLLM and SGLang, is largely benchmark-driven: optimizations, scheduling policies, hardware and system designs are all selected based on representative workloads. However, a significant mismatch has emerged in the agentic era. Existing benchmarks primarily focus on simple single-turn chatbot workloads. LLM applications are increasingly agentic: coding agents, terminal execution systems, and tool-use agents issue multi-turn requests with growing context lengths. We introduce AgentPerfBench, a benchmark suite for agentic inference. It uses real traces from agentic benchmarks, such as SWE-Bench and TerminalBench, alongside standard chat baselines. This enables benchmarking of models on multi-turn tasks involving tool calling, skill utilization, and increasing context lengths. AgentPerfBench also samples from empirical distributions of input length, output length, and turn count derived from the real traces, generating representative synthetic profiles for cheap and accurate measurements on new hardware. In addition, we further find that several existing benchmarks fail to accurately reflect real hardware performance for two key reasons: 1) they do not account for realistic context-length growth, and 2) they measure inference performance without operating at hardware saturation. We discuss these issues in detail and provide rich kernel-level Nsight Compute (NCU) traces to construct a new multi-dimensional roofline model that captures hardware-system limitations in both memory bandwidth and memory capacity footprint. The benchmarking suite then includes automated scripts to identify potential bottleneck conditions on emerging hardware when evaluated with diverse agentic traces. Together, these contributions quantify the chat-to-agentic gap in current inference benchmarks and characterise per-kernel GPU resource utilisation via roofline analysis.
- Abstract（参考訳）: vLLMやSGLangのようなLLMサービスエンジンの最適化は、主にベンチマーク駆動であり、最適化、スケジューリングポリシー、ハードウェアおよびシステム設計はすべて、代表的ワークロードに基づいて選択される。
しかし、エージェント時代において重大なミスマッチが出現した。
既存のベンチマークは主に単純なシングルターンチャットボットのワークロードに焦点を当てている。
コーディングエージェント、端末実行システム、ツール使用エージェントは、コンテキスト長の増大とともにマルチターン要求を発行する。
我々はエージェント推論のためのベンチマークスイートであるAgenPerfBenchを紹介する。
SWE-BenchやTerminalBenchといったエージェントベンチマークの本当のトレースと、標準的なチャットベースラインを使用している。
これにより、ツール呼び出し、スキル利用、コンテキスト長の増加を含むマルチターンタスクのモデルのベンチマークが可能になる。
AgentPerfBenchはまた、入力長、出力長、実際のトレースから派生したターン数などの経験的分布をサンプリングし、新しいハードウェアの安価で正確な測定のための代表的な合成プロファイルを生成する。
さらに、いくつかの既存のベンチマークでは、2つの主要な理由から、実際のハードウェア性能を正確に反映できないことがわかっています。
1)現実的な文脈長成長を考慮せず、
2)ハードウェア飽和時の動作を伴わずに推論性能を計測する。
我々はこれらの問題を詳細に議論し、メモリ帯域幅とメモリ容量のフットプリントの両方においてハードウェアシステムの制限を捉えた新しい多次元屋根モデルを構築するために、カーネルレベルのNsight Compute(NCU)トレースを提供する。
ベンチマークスイートには自動スクリプトが含まれており、さまざまなエージェントトレースで評価された場合、新興ハードウェアのボトルネック条件を特定する。
これらのコントリビューションは、現在の推論ベンチマークにおけるチャット間ギャップを定量化し、ルーフライン分析を通じてカーネル毎のGPUリソースの利用を特徴付ける。
関連論文リスト
- AgentVidBench: A Multi-Hop Video Question Answering Benchmark for Evaluating MLLM Agents [14.219274239252485]
実世界のビデオ理解には、マルチホップマルチモーダル推論を必要とするより困難なタスクが含まれる。
本稿では,MLLMエージェントの空間的,時間的,因果的推論能力を評価するベンチマークであるAgentVidBenchを紹介する。
論文 参考訳（メタデータ） (2026-09-18T06:56:33Z) - DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文 参考訳（メタデータ） (2026-07-08T08:32:18Z) - Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。
我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
論文 参考訳（メタデータ） (2026-04-01T07:59:59Z) - Benchmark Test-Time Scaling of General LLM Agents [27.756239376314294]
General AgentBenchは、検索、コーディング、推論、ツール使用ドメインにわたる一般的なLLMエージェントを評価するためのベンチマークである。
ドメイン固有評価から一般エージェント設定に移行する際の性能劣化について検討する。
どちらのスケーリングも2つの基本的な制限のため、実行時の効果的なパフォーマンス改善にはならないことが分かりました。
論文 参考訳（メタデータ） (2026-02-22T01:08:02Z) - MEMTRACK: Evaluating Long-Term Memory and State Tracking in Multi-Platform Dynamic Agent Environments [6.12783571098263]
MEMTRACKは、マルチプラットフォームエージェント環境における長期記憶と状態追跡を評価するために設計されたベンチマークである。
それぞれのベンチマークインスタンスは、ノイズ、競合、相互参照情報を備えた、時系列的にプラットフォームインターリーブされたタイムラインを提供する。
ベンチマークでは、取得、選択、競合解決などのメモリ機能をテストしています。
論文 参考訳（メタデータ） (2025-10-01T18:34:03Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。
OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。
我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
論文 参考訳（メタデータ） (2025-06-10T15:59:38Z) - Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks [94.19506319646376]
本稿では,実世界のマルチモーダル環境での視覚中心エージェント評価のためのベンチマークであるAgent-Xを紹介する。
Agent-Xは、828のエージェントタスクと、イメージ、マルチイメージ比較、ビデオ、命令テキストを含む、真の視覚的コンテキストを備えている。
その結果、GPT、Gemini、Qwenファミリーを含む最高のパフォーマンスモデルでさえ、多段階視覚タスクの解決に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-30T17:59:53Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。