論文の概要: Monitoring and Observability of Machine Learning Systems: Current Practices and Gaps
- arxiv url: http://arxiv.org/abs/2510.24142v1
- Date: Tue, 28 Oct 2025 07:31:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.889535
- Title: Monitoring and Observability of Machine Learning Systems: Current Practices and Gaps
- Title（参考訳）: 機械学習システムの監視と可観測性:現状と課題
- Authors: Joran Leest, Ilias Gerostathopoulos, Patricia Lago, Claudia Raibulet,
- Abstract要約: プロダクションマシンラーニング(ML)システムは、クラッシュではなく、間違った決定によって、静かに失敗します。
可観測性はML操作にとって重要であると認識されているが、実践者が実際に捉えるものに関する実証的な証拠が不足している。
本研究では,複数の領域における7つのフォーカスグループセッションを通じて,MLの可観測性に関する実証的な結果を示す。
- 参考スコア（独自算出の注目度）: 7.21017530180659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Production machine learning (ML) systems fail silently -- not with crashes, but through wrong decisions. While observability is recognized as critical for ML operations, there is a lack empirical evidence of what practitioners actually capture. This study presents empirical results on ML observability in practice through seven focus group sessions in several domains. We catalog the information practitioners systematically capture across ML systems and their environment and map how they use it to validate models, detect and diagnose faults, and explain observed degradations. Finally, we identify gaps in current practice and outline implications for tooling design and research to establish ML observability practices.
- Abstract（参考訳）: プロダクションマシンラーニング(ML)システムは、クラッシュではなく、間違った決定によって、静かに失敗します。
可観測性はML操作にとって重要であると認識されているが、実践者が実際に捕えるものに関する実証的な証拠が不足している。
本研究では,複数の領域における7つのフォーカスグループセッションを通じて,MLの可観測性に関する実証的な結果を示す。
MLシステムとその環境を体系的に捉えた情報をカタログ化し、モデルを検証し、欠陥を検出し、診断し、観察された劣化を説明する。
最後に、現在の実践におけるギャップを特定し、機械学習の可観測性を確立するためのツール設計と研究の意義を概説する。
関連論文リスト
- From Tea Leaves to System Maps: Context-awareness in Monitoring Operational Machine Learning Models [10.17792666432021]
本稿では,この領域における様々な種類の文脈情報の特徴と構造を体系的に検討する。
本稿では,これらの知見を合成する概念モデルであるC-SAR(Contextual System-Aspect-Representation)フレームワークを紹介する。
また、特定のシステム、アスペクト、表現のパターンを20の繰り返し再利用可能なパターンを特定し、それらがサポートするモニタリングアクティビティにマッピングする。
論文 参考訳（メタデータ） (2025-06-12T14:49:42Z) - MLLMs are Deeply Affected by Modality Bias [158.64371871084478]
MLLM(Multimodal Large Language Models)の最近の進歩は、テキストや画像などの多様なモダリティを統合する上で、有望な成果を示している。
MLLMはモダリティバイアスに強く影響され、しばしば言語に依存し、視覚入力のような他のモダリティを過小評価する。
本稿では,MLLMはモダリティバイアスの影響を強く受けており,様々なタスクにまたがってその発現を明らかにする。
論文 参考訳（メタデータ） (2025-05-24T11:49:31Z) - Instance-Level Data-Use Auditing of Visual ML Models [49.862257986549885]
機械学習(ML)システムにおけるデータの不正使用に関する法的論争の傾向は、信頼性の高いデータ利用監査機構の必要性を浮き彫りにしている。
本稿では、データ所有者がMLモデルにおける個々のデータインスタンスの使用を監査できるように設計された、最初のプロアクティブな、インスタンスレベルのデータ利用監査手法を提案する。
論文 参考訳（メタデータ） (2025-03-28T13:28:57Z) - LLaVA-RadZ: Can Multimodal Large Language Models Effectively Tackle Zero-shot Radiology Recognition? [59.81732629438753]
LLaVA-RadZは、既存のMLLM機能を利用して、ゼロショットの医療疾患認識のための、シンプルで効果的なフレームワークである。
具体的には、MLLMデコーダアーキテクチャの特性を活用するために、DFAT(Decoding-Side Feature Alignment Training)と呼ばれるエンドツーエンドのトレーニング戦略を設計する。
また,大規模モデルの本質的な医学的知識を活用するために,DKAM(Domain Knowledge Anchoring Module)を導入する。
論文 参考訳（メタデータ） (2025-03-10T16:05:40Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳（メタデータ） (2024-05-20T06:59:20Z) - ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems [7.280443300122617]
我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。
モデル配置および監視段階における現状と問題点を解析した。
私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
論文 参考訳（メタデータ） (2024-02-08T00:25:30Z) - Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。
アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。
マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:35:38Z) - Learning Physical Concepts in Cyber-Physical Systems: A Case Study [72.74318982275052]
本稿では,時系列データにおける物理概念の学習方法に関する研究の現状について概説する。
また,3タンクシステムの例を用いて,最先端技術から最も重要な手法を分析した。
論文 参考訳（メタデータ） (2021-11-28T14:24:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。