論文の概要: Monitoring Machine Learning Systems: A Multivocal Literature Review

• arxiv url: http://arxiv.org/abs/2509.14294v1
• Date: Wed, 17 Sep 2025 02:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:52.923291
• Title: Monitoring Machine Learning Systems: A Multivocal Literature Review
• Title（参考訳）: 機械学習システムのモニタリング:多言語文献レビュー
• Authors: Hira Naveed, Scott Barnett, Chetan Arora, John Grundy, Hourieh Khalajzadeh, Omar Haggag,
• Abstract要約: ガルーシのガイドラインに従って多言語文献レビュー(MLR)を行った。 研究は,(1)モチベーション,目標,コンテキスト,(2)監視された側面,特定の技術,メトリクス,ツール,(3)貢献と利益,(4)現在の限界の4つの重要な領域に基づいて分析した。
• 参考スコア（独自算出の注目度）: 6.493534763461715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Dynamic production environments make it challenging to maintain reliable machine learning (ML) systems. Runtime issues, such as changes in data patterns or operating contexts, that degrade model performance are a common occurrence in production settings. Monitoring enables early detection and mitigation of these runtime issues, helping maintain users' trust and prevent unwanted consequences for organizations. Aim: This study aims to provide a comprehensive overview of the ML monitoring literature. Method: We conducted a multivocal literature review (MLR) following the well established guidelines by Garousi to investigate various aspects of ML monitoring approaches in 136 papers. Results: We analyzed selected studies based on four key areas: (1) the motivations, goals, and context; (2) the monitored aspects, specific techniques, metrics, and tools; (3) the contributions and benefits; and (4) the current limitations. We also discuss several insights found in the studies, their implications, and recommendations for future research and practice. Conclusion: Our MLR identifies and summarizes ML monitoring practices and gaps, emphasizing similarities and disconnects between formal and gray literature. Our study is valuable for both academics and practitioners, as it helps select appropriate solutions, highlights limitations in current approaches, and provides future directions for research and tool development.
• Abstract（参考訳）: コンテキスト: 動的生産環境は、信頼できる機械学習(ML)システムのメンテナンスを困難にします。 データパターンの変更や運用コンテキストなどの実行時の問題では、モデルパフォーマンスの低下が本番環境でよく発生する。 監視は、これらのランタイム問題の早期検出と緩和を可能にし、ユーザの信頼の維持を支援し、組織にとって望ましくない結果を防止する。 Aim: この研究は、MLモニタリング文献の包括的な概要を提供することを目的としています。 方法: ガルーシが確立したガイドラインに従って多言語文献レビュー(MLR)を行い, MLモニタリングアプローチの諸側面を136論文で検討した。 結果: 研究は,(1)モチベーション,目標,コンテキスト,(2)モニタリングされた側面,特定の技術,メトリクス,ツール,(3)貢献と利益,(4)現在の限界の4つの主要な領域に基づいて分析した。 また,本研究におけるいくつかの知見,その意義,今後の研究・実践への提言についても論じる。 結論: 私たちのMLRはMLモニタリングの実践とギャップを識別し,要約し,形式文学とグレー文学の類似性や切り離しを強調した。 我々の研究は、適切な解決策の選択を支援し、現在のアプローチの限界を強調し、研究とツール開発の将来的な方向性を提供するため、学者と実践者の両方にとって価値がある。

関連論文リスト

• From Tea Leaves to System Maps: Context-awareness in Monitoring Operational Machine Learning Models [10.17792666432021]
  本稿では,この領域における様々な種類の文脈情報の特徴と構造を体系的に検討する。 本稿では,これらの知見を合成する概念モデルであるC-SAR(Contextual System-Aspect-Representation)フレームワークを紹介する。 また、特定のシステム、アスペクト、表現のパターンを20の繰り返し再利用可能なパターンを特定し、それらがサポートするモニタリングアクティビティにマッピングする。
  論文  参考訳（メタデータ） (2025-06-12T14:49:42Z)
• Trends and Challenges in Authorship Analysis: A Review of ML, DL, and LLM Approaches [1.8686807993563161]
  著者分析は、法医学言語学、アカデミア、サイバーセキュリティ、デジタルコンテンツ認証など、様々な領域で重要な役割を果たしている。 本稿では,著者分析の2つの重要なサブタスクである著者属性と著者検証について,体系的な文献レビューを行う。
  論文  参考訳（メタデータ） (2025-05-21T12:06:08Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Perspective of Software Engineering Researchers on Machine Learning Practices Regarding Research, Review, and Education [12.716955305620191]
  本研究は、機械学習(ML)とソフトウェア工学(SE)の相乗効果に関する知識への貢献を目的とする。 ML に精通した SE 研究者,あるいは ML を用いた SE 記事の執筆者,および記事自体を分析した。 データ収集、モデルトレーニング、評価に重点を置くさまざまなプラクティスを見つけました。
  論文  参考訳（メタデータ） (2024-11-28T18:21:24Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Model-driven Engineering for Machine Learning Components: A Systematic Literature Review [8.810090413018798]
  MDE4ML の使用の背景にある主要な動機を明らかにするため,いくつかの分野の研究を分析した。 また,既存の文献のギャップについても論じ,今後の研究を推奨する。
  論文  参考訳（メタデータ） (2023-11-01T04:29:47Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。