論文の概要: InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents

• arxiv url: http://arxiv.org/abs/2607.20468v1
• Date: Wed, 20 May 2026 15:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.184664
• Title: InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents
• Title（参考訳）: InferenceBench:AIエージェントによるオープンエンディングLLM推論最適化のためのベンチマーク
• Abstract要約: InferenceBenchでは、エージェントがOpenAI互換の推論サーバをデプロイし、LLM推論の速度を最適化する必要がある。 3つの最適化シナリオは、推論のボトルネックを区別する。 エージェントは、単純なPyTorchベースラインよりも確実に改善する。 全体としてInferenceBenchは、エージェントがオープンなAIエンジニアリング環境で操作できることを反映している。
• 参考スコア（独自算出の注目度）: 15.892896819368751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents are increasingly used to automate research and development tasks, yet existing benchmarks typically evaluate them on prescribed workflows or narrow action spaces. Even nominally open-ended tasks can often be solved by retrieving a well-known recipe and tuning a few hyperparameters, making it unclear whether strong results reflect genuine optimization or memorized solutions. We introduce InferenceBench, where an agent must deploy an OpenAI-compatible inference server and optimize the speed of LLM inference. Each agent receives a target LLM, one H100 GPU, an optimization scenario, and a wall-clock time budget of two hours. Three optimization scenarios isolate distinct bottlenecks of inference (prefill latency, decode latency, and concurrent request throughput) and a fourth balances all three at the same time. Across 15 frontier agent configurations, agents reliably improve over a naive PyTorch baseline (up to $8.08\times$) and often match or exceed serving engines with default settings ($4.05\times$ for vLLM), but still fall below a simple hyperparameter search under the same time budget (up to $11.53\times$). Qualitative analysis of agent trajectories shows that although agents enumerate many relevant optimization techniques, they overwhelmingly converge on a single inference framework. They test only a few distinct configurations and spend the remaining budget re-measuring, repairing, or optimizing hyperparameters rather than exploring substantially different strategies. This suggests the bottleneck is not domain knowledge, but the ability to propose diverse configurations, evaluate them systematically, and submit the best identified solution. Overall, InferenceBench reflects the ability of agents to operate in an open-ended AI engineering setting, where memorized solutions lead to limited improvements.
• Abstract（参考訳）: AIエージェントは研究と開発タスクの自動化にますます使用されているが、既存のベンチマークは通常、所定のワークフローや狭いアクションスペースでそれらを評価している。 名目上はオープンなタスクであっても、よく知られたレシピを検索し、いくつかのハイパーパラメータをチューニングすることで、しばしば解決できる。 InferenceBenchでは、エージェントがOpenAI互換の推論サーバをデプロイし、LLM推論の速度を最適化する必要がある。 各エージェントは目標LLMと1つのH100 GPU、最適化シナリオと2時間のウォールクロック時間予算を受信する。 3つの最適化シナリオは、推論のボトルネック(プリフィルレイテンシ、デコードレイテンシ、同時要求スループット)を分離し、同時に4番目のバランスを取る。 15のフロンティアエージェント構成で、エージェントは単純なPyTorchベースライン(最大8.08\times$)を確実に改善し、デフォルト設定でサーブエンジンとマッチするか、あるいはオーバーすることが多い(vLLMは4.05\times$)が、それでも同じ時間予算で単純なハイパーパラメータ検索(最大153\times$)を下回る。 エージェント軌跡の定性的解析は、エージェントが多くの関連する最適化手法を列挙しているにもかかわらず、それらは単一の推論フレームワークに圧倒的に収束していることを示している。 彼らはいくつかの異なる構成をテストし、実質的に異なる戦略を探求するのではなく、残りの予算の再測定、修復、最適化に費やした。 これはボトルネックがドメイン知識ではなく、多様な構成を提案し、それらを体系的に評価し、最適なソリューションを提出する能力であることを示している。 全体としてInferenceBenchは、エージェントがオープンなAIエンジニアリング環境で操作できることを反映している。

関連論文リスト

• The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
  推論駆動最適化のための統合フレームワークであるReASearchを提案する。 共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。 我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
  論文  参考訳（メタデータ） (2026-08-07T02:15:39Z)
• optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
  単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。 LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
  論文  参考訳（メタデータ） (2026-05-19T10:18:12Z)
• Multi-Agent Reasoning Improves Compute Efficiency: Pareto-Optimal Test-Time Scaling [11.219930588268433]
  資源制約のある実世界のアプリケーションにとって、計算効率は鍵となる。 我々は,自己整合性,自己縮小性,マルチエージェント論争,混合エージェントの推論スケーリング戦略を体系的に分析する。 並列世代数がシーケンシャルアグリゲーションの数を超える場合、混合エージェントが最も効率的である。
  論文  参考訳（メタデータ） (2026-05-02T18:31:02Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models [69.55139736609367]
  Agent-GWOは複雑な推論のための動的プロンプト最適化フレームワークである。 本稿では,Agent-GWOが既存のプロンプト最適化手法よりも精度と安定性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2026-04-14T07:35:37Z)
• AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent [18.58248061903799]
  AgentOptは、クライアントサイドAI最適化のための最初のフレームワークに依存しないPythonパッケージである。 我々はまず,マルチステップエージェントパイプラインにおける高インパクト最適化レバーであるモデル選択について検討する。 指数関数的に増加する組み合わせ空間を効率的に探索するために、AgentOptは10の検索アルゴリズムを実装している。
  論文  参考訳（メタデータ） (2026-04-07T17:13:47Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• Towards Efficient Agents: A Co-Design of Inference Architecture and System [66.59916327634639]
  本稿では,エージェントアクセラレーションのための統合フレームワークであるAgentInferを提案する。 問題をAgentCollab、AgentSched、AgentSAM、AgentCompressの4つの相乗的コンポーネントに分解する。 BrowseComp-zhとDeepDiverベンチマークの実験では、これらの手法の相乗的コラボレーションを通じて、AgentInferは非効率なトークン消費を50%以上削減することを示した。
  論文  参考訳（メタデータ） (2025-12-20T12:06:13Z)
• syftr: Pareto-Optimal Generative AI [40.80352098169579]
  syftrはエージェントと非エージェントのRAG構成の広い領域で効率的な多目的探索を行うフレームワークである。 Syftrは、最も正確な流れの正確さを保ちながら、平均して9倍のコストで流れを見つける。
  論文  参考訳（メタデータ） (2025-05-26T17:43:13Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。