論文の概要: Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems

• arxiv url: http://arxiv.org/abs/2605.27492v1
• Date: Tue, 26 May 2026 16:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.375948
• Title: Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems
• Title（参考訳）: RAMP for Runtime Assessing of Agentic Models in Production Systems
• Authors: Yipeng Ouyang, Xin Huang, Bingjie Liu, Zhongchun Zheng, Yuhao Gu, Xianwei Zhang,
• Abstract要約: ソフトウェアエンジニアリングエージェントを評価するための実運用基盤となるRAMPについて紹介する。 RAMPは、標準化されたオーケストレーションと実行インターフェースを通じて、統一されたランタイムアセスメントアーキテクチャを提供する。
• 参考スコア（独自算出の注目度）: 2.9725171307292544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM agents are rapidly evolving from coding assistants into autonomous software engineering systems. However, existing evaluation methodologies remain largely centered on static, isolated, and short-horizon benchmarks that fail to capture the dynamic complexity of real-world production workflows. As a result, benchmark performance may poorly reflect practical capability under realistic runtime environments involving long execution chains, tool interactions, dependency management, and iterative feedback loops. We thus present RAMP, a production-grounded infrastructure for assessing long-horizon software engineering agents. Built upon the YatCC integrated platform, RAMP provides a unified runtime assessment architecture through standardized orchestration and execution interfaces. RAMP introduces realistic compiler-construction workloads with serial dependencies and complex toolchain interactions, together with a staged recovery mechanism for analyzing execution behavior under partial workflow failure. The framework further incorporates utility-oriented multi-dimensional metrics that jointly evaluate outcome quality and process efficiency. We conduct runtime assessments across 15 mainstream models and observe substantial capability degradation that remains largely invisible to conventional isolated benchmarks. Task completion rates progressively collapse across serial workflows, dropping from 100% in the initial stage to only 20% in the final stage, while none of the evaluated models successfully completes the entire pipeline. Runtime analysis reveals systematic failure propagation and significant resource inefficiencies, with computational costs differing by up to three orders of magnitude among comparable models. These findings suggest RAMP advances agentic model evaluation toward continuous, runtime-observable, and production-grounded assessment.
• Abstract（参考訳）: LLMエージェントは、コーディングアシスタントから自律的なソフトウェアエンジニアリングシステムへと急速に進化している。 しかし、既存の評価手法は、現実のプロダクションワークフローの動的な複雑さを捉えるのに失敗する静的、孤立的、短期のベンチマークを中心にしている。 結果として、ベンチマークパフォーマンスは、長い実行チェーン、ツールのインタラクション、依存性管理、反復的なフィードバックループを含む現実的な実行環境下での実践的能力を十分に反映している可能性がある。 そこで我々は,長期のソフトウェアエンジニアリングエージェントを評価するための実運用基盤であるRAMPを提案する。 YatCC統合プラットフォーム上に構築されたRAMPは、標準化されたオーケストレーションと実行インターフェースを通じて、統一されたランタイムアセスメントアーキテクチャを提供する。 RAMPは、シリアルな依存関係と複雑なツールチェーンインタラクションを備えた現実的なコンパイラ・コンストラクションワークロードと、部分的なワークフロー障害下での実行動作を分析するためのステージドリカバリメカニズムを導入している。 このフレームワークには、結果の品質とプロセス効率を共同で評価するユーティリティ指向の多次元メトリクスも組み込まれている。 我々は15の主流モデルにわたる実行時アセスメントを実施し、従来の孤立したベンチマークにはほとんど見えないような、実質的な能力劣化を観察します。 タスク完了率はシリアルワークフロー全体で徐々に崩壊し、初期段階では100%から最終段階では20%に低下する。 実行時解析は、系統的な障害伝播と重要なリソース不効率を明らかにし、計算コストは、同等のモデルで最大3桁まで異なる。 これらの結果から, RAMP は連続的, 実行可能, 生産的評価へのエージェントモデル評価の進歩を示唆している。

関連論文リスト

• Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks [5.044646432723069]
  ベンチマークユーティリティは、基本的なクライアント側キューのボトルネックを導入する、シングルプロセスの非同期駆動アーキテクチャに依存していることを示す。 クライアント側の負荷を効果的に分散し、無視可能なキューオーバヘッドを保証する、バイアスのないマルチプロセス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:57:26Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
  既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。 本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-03T13:44:40Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
  textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。 我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。 我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:57:24Z)
• Flash-Searcher: Fast and Effective Web Agents via DAG-Based Parallel Execution [48.7788770680643]
  Flash-Searcherは、新しい並列エージェント推論フレームワークである。 複雑なタスクを明示的な依存関係でサブタスクに分解し、独立した推論パスの同時実行を可能にする。 BrowseCompでは67.7%の精度で、xbench-DeepSearchでは83%、エージェントの実行手順は現在のフレームワークに比べて最大35%削減されている。
  論文  参考訳（メタデータ） (2025-09-29T17:39:30Z)
• AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production [4.031479494871582]
  本稿では,エージェントパイプラインのデプロイ後監視と推論に特化して設計された,最初の評価フレームワークであるAgentを紹介する。 Agentは、主要なメトリクスに関する最先端の結果を達成すると同時に、人間のアノテーションで見逃された重要な問題を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T05:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。