論文の概要: CTML: A Comprehensive Framework for Continuous Testing in Machine Learning Operations

• arxiv url: http://arxiv.org/abs/2610.12515v1
• Date: Wed, 07 Oct 2026 18:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.211844
• Title: CTML: A Comprehensive Framework for Continuous Testing in Machine Learning Operations
• Title（参考訳）: CTML: マシンラーニング運用における継続的テストのための総合的なフレームワーク
• Abstract要約: 本稿では,機械学習のための継続的テスト(CTML)フレームワークを紹介する。 CTMLはMLOps環境向けに特別に設計されており、徹底的に自動化されたソリューションを提供する。 データ品質、ドリフト検出、モデル品質、パイプライン検証の4つの主要領域でMLシステムを評価するための標準化された方法を確立している。
• 参考スコア（独自算出の注目度）: 1.3537117504260623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing use of machine learning (ML) systems in production has highlighted some important weaknesses in traditional software testing methods. Unlike regular software, ML systems can fail in specific ways due to their reliance on data, including issues like data drift, concept drift, and performance decline. To address these issues, this paper introduces the Continuous Testing for Machine Learning (CTML) framework. This framework is designed specifically for MLOps environments and offers a thorough, automated solution. It establishes a standardized way to evaluate ML systems across four main areas: data quality, drift detection, model quality, and pipeline validation. The CTML framework consists of a modular setup that includes a Test Registry, Test Runner, Result Store, and Integration Layer. This design ensures it integrates smoothly with existing Continuous Integration/Continuous Delivery (CI/CD) pipelines and MLOps platforms. We put this framework to the test in a predictive maintenance case study, which showed how effective it is at identifying issues like data drift, performance degradation, and bottlenecks in the pipeline problems that traditional testing methods might overlook. The findings indicate that CTML successfully uncovers critical failures in the system across all testing dimensions, providing useful insights to help keep ML systems running smoothly in production. Overall, this work presents a new, integrated framework that connects academic research with industry best practices, pushing forward the standards in MLOps quality assurance.
• Abstract（参考訳）: 実運用における機械学習(ML)システムの利用の増加は、従来のソフトウェアテスト手法におけるいくつかの重大な弱点を浮き彫りにした。 通常のソフトウェアとは異なり、MLシステムはデータドリフトやコンセプトドリフト、パフォーマンス低下といった問題など、データに依存しているため、特定の方法で失敗する可能性がある。 これらの問題に対処するために,本論文では,機械学習のための継続的テスト(CTML)フレームワークを紹介する。 このフレームワークはMLOps環境向けに特別に設計されており、徹底的に自動化されたソリューションを提供する。 データ品質、ドリフト検出、モデル品質、パイプライン検証の4つの主要領域でMLシステムを評価するための標準化された方法を確立している。 CTMLフレームワークは、Test Registry、Test Runner、Result Store、Integration Layerを含むモジュール化されたセットアップで構成されている。 この設計により、既存の継続的インテグレーション/継続的デリバリ(CI/CD)パイプラインやMLOpsプラットフォームとスムーズに統合できる。 私たちはこのフレームワークを,従来のテストメソッドが見落としてしまう可能性のあるパイプライン問題において,データドリフトやパフォーマンス低下,ボトルネックといった問題を特定する上で,いかに効果的かを示す,予測的なメンテナンスケーススタディでテストに適用しました。 この結果は、CTMLがシステム内のすべてのテスト範囲における重大な障害をうまく発見し、MLシステムの運用環境におけるスムーズな動作を維持する上で有用な洞察を提供することを示している。 全体として、この研究は、学術研究と業界のベストプラクティスを結びつけ、MLOpsの品質保証の標準を推し進める、新たな統合されたフレームワークを提示している。

関連論文リスト

• Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning [71.71128959288187]
  我々は,ターゲットモデル作成,マルチモーダルデータ処理,アンラーニング,評価を統合したオープンソースのフレームワークであるOpen-MMUnlearningを紹介する。 このフレームワークは、プライバシ、安全性、著作権にまたがる5つのベンチマーク、4つのモデルファミリーの8つのMLLM、12の未学習メソッドをサポートする。 その評価スイートは、モデルの介入、敵の入力、およびメンバーシップ推論攻撃に対する、忘れることの有効性、有効性、堅牢性を共同で評価する。
  論文  参考訳（メタデータ） (2026-10-07T16:30:59Z)
• Testing the Untestable? An Empirical Study on the Testing Process of LLM-Powered Software Systems [0.0]
  本研究では,実世界のアプリケーション開発において,大規模言語モデルがどのようにテストされるかを検討する。 ケーススタディは、LLMを利用したアプリケーションを大学コースの一部として構築・展開した学生によって書かれた99の個人レポートを用いて実施された。 結果: LLMを利用したシステムをテストするには, 従来の検証手法に適応し, ソースレベルの推論と行動認識評価をブレンドする必要がある。
  論文  参考訳（メタデータ） (2025-07-31T22:39:24Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• The Integration of Machine Learning into Automated Test Generation: A Systematic Mapping Study [15.016047591601094]
  我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。 MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
  論文  参考訳（メタデータ） (2022-06-21T09:26:25Z)
• CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT (Extended Version) [62.96267257163426]
  我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。 まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。 次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T20:22:50Z)
• Mutation Testing framework for Machine Learning [0.0]
  機械学習モデルの失敗は、生命や財産の喪失という観点から、深刻な結果をもたらす可能性がある。 世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。 この記事では、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察的な旅を提供します。
  論文  参考訳（メタデータ） (2021-02-19T18:02:31Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Manifold for Machine Learning Assurance [9.594432031144716]
  本稿では,機械学習(ML)システムにおいて,要求システムを暗黙的に記述した高次元学習データから抽出する機械学習手法を提案する。 その後、テストの精度測定、テスト入力生成、ターゲットのMLシステムの実行時の監視など、さまざまな品質保証タスクに利用されます。 予備実験により, 提案手法により, 試験精度が試験データの多様性を推し進めるとともに, テスト生成手法が故障を防止し, 現実的なテストケースを生み出すことが確認され, 実行時モニタリングは, 対象システムの出力の信頼性を独立的に評価する手段を提供する。
  論文  参考訳（メタデータ） (2020-02-08T11:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。