論文の概要: From Tea Leaves to System Maps: Context-awareness in Monitoring Operational Machine Learning Models

• arxiv url: http://arxiv.org/abs/2506.10770v1
• Date: Thu, 12 Jun 2025 14:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.790336
• Title: From Tea Leaves to System Maps: Context-awareness in Monitoring Operational Machine Learning Models
• Title（参考訳）: 茶葉からシステムマップへ:運用機械学習モデルにおける文脈認識
• Authors: Joran Leest, Claudia Raibulet, Patricia Lago, Ilias Gerostathopoulos,
• Abstract要約: 本稿では,この領域における様々な種類の文脈情報の特徴と構造を体系的に検討する。 本稿では,これらの知見を合成する概念モデルであるC-SAR(Contextual System-Aspect-Representation)フレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 10.17792666432021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models in production do not fail due to statistical anomalies in their input data; they fail due to contextual misalignment -- when their environment deviates from training assumptions, leading to unreliable predictions. Effective ML monitoring requires rich contextual information to move beyond detecting statistical shifts toward meaningful alerts and systematic root-cause analysis. Yet, surprisingly, despite extensive research in ML monitoring and related disciplines (drift detection, data validation, out-of-distribution detection), there is no shared understanding of how to use contextual information -- striking, given that monitoring involves interpretation of information in context. In response, this paper presents a systematic review to characterize and structure the various types of contextual information in this domain. Our analysis examines 94 primary studies across data mining, databases, software engineering, and ML. We introduce the Contextual System--Aspect--Representation (C-SAR) framework, a conceptual model that synthesizes our findings. We also identify 20 recurring and potentially reusable patterns of specific system, aspect, and representation combinations, and map them to the monitoring activities they support. This study provides a new perspective on ML monitoring: from interpreting "tea leaves" of observational statistics into constructing and managing "system maps" that enable systematic and reliable ML monitoring practices.
• Abstract（参考訳）: 実運用環境での機械学習(ML)モデルは、入力データの統計的異常によって失敗することはない。 効果的なMLモニタリングは、意味のあるアラートや系統的な根本原因分析への統計的シフトを検出することを超えて、リッチなコンテキスト情報を必要とする。 しかし、驚くべきことに、MLモニタリングと関連する分野(ドリフト検出、データ検証、アウト・オブ・ディストリビューション検出)の広範な研究にもかかわらず、コンテキスト情報の使用方法に関する共通理解は存在せず、監視にはコンテキスト情報の解釈が伴うことを前提として、この領域における様々な種類のコンテキスト情報の特徴付けと構造を体系的に検討する。本研究では、データマイニング、データベース、ソフトウェアエンジニアリング、MLに関する94の初等的な研究について検討する。この記事では、結果を合成する概念モデルであるContextual System-Aspect-Representation(C-SAR)フレームワークを紹介する。 また、特定のシステム、アスペクト、表現の組み合わせの繰り返しおよび再利用可能なパターンを20個同定し、それらがサポートするモニタリングアクティビティにマッピングする。 本研究は,MLモニタリングの新しい視点を提供する。観測統計の「茶葉」の解釈から,体系的かつ信頼性の高いMLモニタリングプラクティスを実現する「システムマップ」の構築と管理まで。

関連論文リスト

• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Out-of-Distribution Detection on Graphs: A Survey [58.47395497985277]
  グラフアウト・オブ・ディストリビューション(GOOD)検出は、トレーニング中に見られる分布から逸脱するグラフデータを特定することに焦点を当てる。 既存の手法を,拡張ベース,再構築ベース,情報伝達ベース,分類ベースという4つのタイプに分類する。 本稿では,グラフデータによるユニークな課題を浮き彫りにして,実践的応用と理論的基礎について論じる。
  論文  参考訳（メタデータ） (2025-02-12T04:07:12Z)
• Model Monitoring in the Absence of Labeled Data via Feature Attributions Distributions [5.167069404528051]
  この論文では、予測が現実の意思決定やユーザに影響を与える前に、機械学習モデルによるMLの監視について検討する。 i)AIアライメント、AIモデルが人間の価値観と整合した振る舞いを計測すること、(ii)パフォーマンス監視、モデルが特定の精度の目標や欲求を達成するかどうかを測定すること、の2つの主要なテーマで構成されている。
  論文  参考訳（メタデータ） (2025-01-18T14:07:37Z)
• A Review of Physics-Informed Machine Learning Methods with Applications to Condition Monitoring and Anomaly Detection [1.124958340749622]
  PIMLは、既知の物理法則と制約を機械学習アルゴリズムに組み込んだものである。 本研究では,条件モニタリングの文脈におけるPIML技術の概要を概観する。
  論文  参考訳（メタデータ） (2024-01-22T11:29:44Z)
• Designing monitoring strategies for deployed machine learning algorithms: navigating performativity through a causal lens [6.329470650220206]
  この研究の目的は、監視戦略を設計する際の比較的過小評価されている複雑さを強調することである。 MLに基づく未計画の読み出し予測のためのリスク予測アルゴリズムについて検討する。 このケーススタディの結果は、すべての監視システムが平等に作成されるわけではないという、一見単純な(そして明らかな)事実を強調します。
  論文  参考訳（メタデータ） (2023-11-20T00:15:16Z)
• SoK: Machine Learning for Misinformation Detection [0.8057006406834466]
  信頼性と安全性の問題に機械学習を適用する際、奨学金と実践の切り離しについて検討する。 本研究は,現場における248件の有能な論文からなるコーパスにおける誤情報の自動検出に関する文献調査である。 完全自動検出における現在の最先端技術は、人為的誤報の検出において、限られた有効性を有すると結論づける。
  論文  参考訳（メタデータ） (2023-08-23T15:52:20Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。