論文の概要: MLOps-Bench: Benchmarking AI Agents on Production ML Engineering in Real Repositories
- arxiv url: http://arxiv.org/abs/2610.23506v1
- Date: Fri, 16 Oct 2026 14:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.947478
- Title: MLOps-Bench: Benchmarking AI Agents on Production ML Engineering in Real Repositories
- Title（参考訳）: MLOps-Bench: 実リポジトリのプロダクションMLエンジニアリングにおけるAIエージェントのベンチマーク
- Abstract要約: MLOps-Benchは、実運用機械学習エンジニアリングのためのリポジトリ基底ベンチマークである。
それぞれのタスクは、リポジトリのエビデンスに基づいており、自然言語要件、パッチ、プラウジブルなバギーベースライン、フェイル・ツー・パステスト、パス・ツー・パステスト、前例のメタデータを含んでいる。
我々は6つのエージェントを評価し、最良のシステムは68.7%のテストに合格しながら31.2%のタスクを解決し、現在のエージェントが部分的に進行するが、生産関連行動要求をまだ失敗していることを示す。
- 参考スコア（独自算出の注目度）: 9.53343905574018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are increasingly expected to modify and maintain machine-learning systems in production, yet existing benchmarks primarily evaluate either competition-style ML experimentation or generic repository issue resolution. We introduce MLOps-Bench, a repository-grounded benchmark for production ML engineering. Unlike prior ML-agent benchmarks, MLOps-Bench evaluates executable lifecycle changes inside real ML repositories, spanning data pipelines, feature engineering, model training, model serving, monitoring, CI/CD and governance, and end-to-end integration. Each task is grounded in repository evidence and includes a natural-language requirement, oracle patch, plausible buggy baseline, fail-to-pass tests, pass-to-pass tests, and provenance metadata. The benchmark contains 212 validated tasks from 31 public ML repositories, with 636 fail-to-pass tests and 856 pass-to-pass tests. We evaluate six agents and find that the best system solves 31.2% of tasks while passing 68.7% of tests, showing that current agents often make partial progress but still fail production-relevant behavioral requirements. MLOps-Bench shifts agent evaluation beyond model building and issue fixing toward repository-native MLOps work where correctness depends on lifecycle reasoning, behavioral robustness, and preservation of existing system behavior.
- Abstract（参考訳）: AIエージェントは、実運用環境での機械学習システムの変更とメンテナンスがますます期待されているが、既存のベンチマークは主に、競合スタイルのML実験か、汎用リポジトリの問題解決かを評価している。
MLOps-Benchは、実運用MLエンジニアリングのためのリポジトリ基底ベンチマークである。
従来のML-agentベンチマークとは異なり、MLOps-Benchは、データパイプライン、機能エンジニアリング、モデルトレーニング、モデル提供、監視、CI/CDおよびガバナンス、エンドツーエンド統合など、実際のMLリポジトリ内の実行ライフサイクルの変更を評価する。
各タスクは、リポジトリのエビデンスに基づいており、自然言語要件、オラクルパッチ、プラウシブルなバグベースライン、フェイル・ツー・パステスト、パス・ツー・パステスト、および前例のメタデータを含んでいる。
ベンチマークには31のパブリックMLリポジトリから212の検証済みタスクが含まれており、636のフェイル・ツー・パステスト、856のパス・ツー・パステストが含まれている。
我々は6つのエージェントを評価し、最良のシステムは68.7%のテストに合格しながら31.2%のタスクを解決し、現在のエージェントが部分的に進行することが多いが、生産関連行動要件をまだ満たしていないことを示す。
MLOps-Benchはモデル構築を超えてエージェント評価をシフトし、ライフサイクル推論や振る舞いの堅牢性、既存のシステム動作の保存に依存するリポジトリネイティブなMLOps作業に修正する。
関連論文リスト
- E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
論文 参考訳（メタデータ） (2026-09-29T18:02:25Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ChipMEM: Verification-Grounded Memory for EDA Agents [8.441726626399651]
ChipMEMは、EDAエージェントのための検証済みのメモリ層である。
クロスタスクの手続き記憶と軌道内統計ガイダンスを組み合わせる。
一般的なアダプタは、RTL最適化とテストベンチ生成エージェントに同じメモリインターフェースを適用している。
論文 参考訳（メタデータ） (2026-09-22T21:03:30Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning [21.927343858709122]
Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。
実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
論文 参考訳（メタデータ） (2026-07-27T03:20:28Z) - Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。
マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。
TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
論文 参考訳（メタデータ） (2026-07-10T05:16:54Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks [3.958773019872771]
既存のベンチマークは主に、孤立したコンポーネントレベルのタスクでLarge Language Models (LLM)を評価する。
HWE-Benchは,LLMエージェントを現実のハードウェアバグ修正タスクで評価するための,最初の大規模リポジトリレベルのベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T07:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。