論文の概要: PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents
- arxiv url: http://arxiv.org/abs/2608.24509v1
- Date: Tue, 25 Aug 2026 12:56:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.990885
- Title: PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents
- Title（参考訳）: PeakBench: LLMエージェントのリソース認識ツール呼び出しのベンチマーク
- Abstract要約: PeakBenchは、実行可能なマルチツール依存アノテーションと測定リソースプロファイルのベンチマークである。
我々は,強い論理的計画が資源制約下での安全あるいは効率的な実行に確実に変換されないことを示す。
PeakBenchは、リソース認識エージェントの振る舞いの診断に有用なテストベッドである。
- 参考スコア（独自算出の注目度）: 79.28372522980153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly solve tasks by invoking multiple tools, where parallel execution is essential for low latency but difficult to manage safely. Existing agent benchmarks primarily evaluate tool selection, argument generation, and end-to-end success under mostly serial execution, largely overlooking valid parallelization and resource-constrained scheduling. This missing scheduling dimension creates a practical failure mode: serial execution is safe but slow, while resource-agnostic parallel execution is fast but prone to avoidable resource overflows. To address this gap, we introduce PeakBench, a benchmark of executable multi-tool workflows with execution-grounded dependency annotations and measured resource profiles. A central challenge in evaluating such workflows is attribution: failures and inefficiencies may arise from incorrect dependency planning, poor resource-constrained scheduling, or both. PeakBench addresses this challenge with a two-part evaluation framework that disentangles logical planning from physical scheduling, with dedicated metrics for each dimension. Using this framework, we show that strong logical planning does not reliably translate into safe or efficient execution under resource constraints. We further show that exposing resource information can reduce avoidable overflows and improve resource utilization, making PeakBench a useful testbed for diagnosing resource-aware agent behavior. Code is available at https://github.com/Czzzk/Staggering-the-Peaks.
- Abstract（参考訳）: LLMエージェントは、低レイテンシでは並列実行が不可欠だが、安全に管理することが難しい複数のツールを呼び出すことで、タスクをますます解決する。
既存のエージェントベンチマークは、ツールの選択、引数生成、エンドツーエンドの成功を主にシリアル実行下で評価し、主に有効な並列化とリソース制約のあるスケジューリングを見越している。
シリアル実行は安全だが遅いが、リソースに依存しない並列実行は高速だが、リソースオーバーフローを避ける傾向にある。
このギャップに対処するために、PakBenchを紹介します。PakBenchは実行時の依存性アノテーションと測定されたリソースプロファイルを備えた、実行可能なマルチツールワークフローのベンチマークです。
失敗と非効率性は、誤った依存性計画、リソース制約の少ないスケジューリング、あるいはその両方から生じます。
PeakBench氏はこの課題に対して、物理的スケジューリングから論理的計画を分離する2つの評価フレームワークで対処している。
このフレームワークを用いることで、強い論理的計画がリソース制約の下で安全あるいは効率的な実行に確実に変換されないことを示す。
さらに,リソース情報の公開は,回避可能なオーバーフローを低減し,リソース利用を向上させることを示し,PeakBenchはリソース認識エージェントの動作を診断するための有用なテストベッドであることを示す。
コードはhttps://github.com/Czzzk/Staggering-the-Peaks.comで入手できる。
関連論文リスト
- OrchBench: Evaluating Multi-Agent Orchestration Plans in Isolation via Deterministic Simulation [41.885817564161975]
シミュレーションに基づくマルチエージェントオーケストレーション計画評価ベンチマークであるOrchBenchについて述べる。
決定論的シミュレータは、労働者エージェントを呼び出すことなく、結果の計画を評価し、結果の質、メースパン、トークンコストの解釈可能な尺度を返す。
多様なプランナーやワークフローの規模で見ると、単にエージェントの数を増やすよりも、タスククリティカルな情報を保存することが重要であることが分かります。
論文 参考訳（メタデータ） (2026-07-28T12:43:34Z) - ThinkBooster: A Unified Framework for Seamless Test-Time Scaling of LLM Reasoning [110.46431027868954]
ThinkBoosterは、大規模言語モデル(LLM)推論のシームレスなテスト時間計算スケーリングのためのフレームワークである。
最新のTTCスケーリング戦略とスコアファミリを実装するモジュール型のPythonライブラリで構成されている。
デプロイ可能なOpenAI互換プロキシサービスにより、現実のアプリケーションへの適応推論のドロップイン統合が可能になる。
論文 参考訳（メタデータ） (2026-06-05T05:28:46Z) - Generative Profiling for Soft Real-Time Systems and its Applications to Resource Allocation [1.6495587226184654]
リアルタイムシステムは、予測可能な性能を確保するために、タスクタイミングの正確な特徴付けを必要とする。
最悪の実行時間分析のような既存の手法は、リソースコンテキストの異なるタスクのきめ細かいタイミング動作をキャプチャできないことが多い。
本稿では,リアルタイムタスクに対して,コンテキスト依存の詳細なタイミングプロファイルを合成する新しい生成プロファイリング手法を提案する。
論文 参考訳（メタデータ） (2026-04-01T22:27:27Z) - Learning to Share: Selective Memory for Efficient Parallel Agentic Systems [49.78267008828593]
エージェントシステムは、反復的に推論する複数のエージェントを調整することで複雑なタスクを解決し、ツールを呼び出し、中間結果を交換する。
最近のアプローチでは、さまざまな推論の軌跡を探索するために、複数のエージェントチームが並行して運用されている。
我々は並列エージェントフレームワークのための学習された共有メモリ機構であるLearning to Share (LTS)を提案する。
論文 参考訳（メタデータ） (2026-02-05T18:20:21Z) - GAP: Graph-Based Agent Planning with Parallel Tool Use and Reinforcement Learning [20.75113227786218]
グラフベースのエージェント計画(GAP)は、グラフベースの計画を通じてタスク間の依存関係を明示的にモデル化する新しいフレームワークである。
我々のアプローチは、複雑なタスクを依存性を意識したサブタスクグラフに分解する基礎モデルを訓練する。
この依存性を意識したオーケストレーションは、実行効率とタスクの正確性の両方で大幅に改善される。
論文 参考訳（メタデータ） (2025-10-29T09:35:55Z) - MSC-Bench: A Rigorous Benchmark for Multi-Server Tool Orchestration [0.0]
MSC-Benchは、LLMエージェントによるマルチホップ、エンドツーエンドのツールオーケストレーションを評価するための大規模なベンチマークである。
これは「等式集合」を通じて基底真理を構築することでギャップに対処し、F1スコアのような客観的なメトリクスを可能にする。
シングルツールオーケストレーションから複雑なクロスサーバ計画、スコープ外要求に対する堅牢性まで、エージェント機能を体系的にテストする。
論文 参考訳（メタデータ） (2025-10-22T09:45:11Z) - Just-in-time Episodic Feedback Hinter: Leveraging Offline Knowledge to Improve LLM Agents Adaptation [77.90555621662345]
JEF Hinterは、オフライントレースをコンパクトでコンテキスト対応のヒントに蒸留するエージェントシステムである。
ズーム機構は、長い軌道における決定的なステップを強調し、戦略と落とし穴の両方をキャプチャする。
MiniWoB++、WorkArena-L1、WebArena-Liteの実験は、JSF Hinterが一貫して強力なベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-10-05T21:34:42Z) - Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。
SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。
我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-10-02T02:01:02Z) - Haste Makes Waste: Evaluating Planning Abilities of LLMs for Efficient and Feasible Multitasking with Time Constraints Between Actions [56.88110850242265]
本稿では,現実の調理シナリオに基づいた新しいベンチマークフレームワークRecipe2Planを紹介する。
従来のベンチマークとは異なり、Recipe2Planは並列タスク実行による調理時間を最適化するためにエージェントに挑戦する。
論文 参考訳（メタデータ） (2025-03-04T03:27:02Z) - Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions [0.36832029288386137]
本稿では、サーバレスアーキテクチャが大規模ML推論タスクを迅速かつ低コストで実現する方法について検討する。
サーバレス並列処理は、モノリシックなアプローチと比較して、同じコストで、実行時間を95%以上削減できることを示した。
論文 参考訳（メタデータ） (2025-01-30T15:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。