論文の概要: Root Causing Prediction Anomalies Using Explainable AI

• arxiv url: http://arxiv.org/abs/2403.02439v1
• Date: Mon, 4 Mar 2024 19:38:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:09:58.231461
• Title: Root Causing Prediction Anomalies Using Explainable AI
• Title（参考訳）: 説明可能なAIを用いたルートキャスティング予測異常
• Authors: Ramanathan Vishnampet, Rajesh Shenoy, Jianhui Chen, Anuj Gupta
• Abstract要約: 本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
• 参考スコア（独自算出の注目度）: 3.970146574042422
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents a novel application of explainable AI (XAI) for root-causing performance degradation in machine learning models that learn continuously from user engagement data. In such systems a single feature corruption can cause cascading feature, label and concept drifts. We have successfully applied this technique to improve the reliability of models used in personalized advertising. Performance degradation in such systems manifest as prediction anomalies in the models. These models are typically trained continuously using features that are produced by hundreds of real time data processing pipelines or derived from other upstream models. A failure in any of these pipelines or an instability in any of the upstream models can cause feature corruption, causing the model's predicted output to deviate from the actual output and the training data to become corrupted. The causal relationship between the features and the predicted output is complex, and root-causing is challenging due to the scale and dynamism of the system. We demonstrate how temporal shifts in the global feature importance distribution can effectively isolate the cause of a prediction anomaly, with better recall than model-to-feature correlation methods. The technique appears to be effective even when approximating the local feature importance using a simple perturbation-based method, and aggregating over a few thousand examples. We have found this technique to be a model-agnostic, cheap and effective way to monitor complex data pipelines in production and have deployed a system for continuously analyzing the global feature importance distribution of continuously trained models.
• Abstract（参考訳）: 本稿では、ユーザエンゲージメントデータから連続的に学習する機械学習モデルにおける、根源的性能劣化に対する説明可能なAI(XAI)の新たな応用について述べる。 そのようなシステムでは、単一の機能破壊がカスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々はこの手法を,パーソナライズ広告におけるモデルの信頼性向上に応用した。 このようなシステムの性能劣化は、モデル内の予測異常として表される。 これらのモデルは通常、数百のリアルタイムデータ処理パイプラインによって生成されたり、他の上流モデルから派生した機能を使用して継続的にトレーニングされる。 これらのパイプラインのいずれかの障害や上流モデルのいずれかの不安定さは、機能の破損を引き起こし、モデルの予測出力が実際の出力とトレーニングデータから逸脱する原因となる。 特徴と予測出力の因果関係は複雑であり、システムのスケールとダイナミズムのため、根圏化は困難である。 本研究では,大域的特徴量分布の時間的変化が,モデル-機能相関法よりも優れたリコールにより,予測異常の原因を効果的に分離できることを示す。 この手法は,単純な摂動法を用いて局所的特徴の重要度を近似し,数千以上の例を集約しても有効であると考えられる。 当社ではこのテクニックを,複雑なデータパイプラインを実運用環境で監視するためのモデル非依存で安価で効果的な方法と捉え,継続的トレーニングモデルのグローバルな機能重要度分布を継続的に分析するシステムをデプロイした。

関連論文リスト

• Multivariate Data Augmentation for Predictive Maintenance using Diffusion [35.286105732902065]
  予測メンテナンスは、産業、医療、金融分野におけるシステムの修復を最適化するために使われてきた。 これらのモデルをトレーニングするフォールトデータがないのは、フォールトの発生とダウンタイムを最小限に抑えるために取り組んでいる組織のためです。 新たにインストールされたシステムでは、障害データがまだ存在しないため、障害データは存在しない。
  論文  参考訳（メタデータ） (2024-11-06T16:57:09Z)
• Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias [47.79659355705916]
  モデル誘導分散シフト(MIDS)は、以前のモデルが代々のモデルに対して汚染された新しいモデルトレーニングセットを出力するときに発生する。 我々は,複数世代にわたるMIDSの追跡を可能にするフレームワークを導入し,性能,公平性,少数化グループ表現の損失につながることを確認した。 これらの否定的な結果にもかかわらず、モデルがデータエコシステムにおけるポジティブで意図的な介入にどのように使用されるかを特定します。
  論文  参考訳（メタデータ） (2024-03-12T17:48:08Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Towards Continually Learning Application Performance Models [1.2278517240988065]
  機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するために、ますます使われています。 伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。 本研究では,分布のドリフトを考慮した継続的な学習性能モデルを構築し,破滅的な忘れを軽減し,一般化性を向上させる。
  論文  参考訳（メタデータ） (2023-10-25T20:48:46Z)
• A hybrid feature learning approach based on convolutional kernels for ATM fault prediction using event-log data [5.859431341476405]
  イベントログデータから特徴を抽出するために,畳み込みカーネル(MiniROCKETとHYDRA)に基づく予測モデルを提案する。 提案手法は,実世界の重要な収集データセットに適用される。 このモデルは、ATMのタイムリーなメンテナンスにおいてオペレータをサポートするコンテナベースの意思決定支援システムに統合された。
  論文  参考訳（メタデータ） (2023-05-17T08:55:53Z)
• A Framework for Machine Learning of Model Error in Dynamical Systems [7.384376731453594]
  データから動的システムを特定するために,機械的アプローチと機械学習アプローチを混在させる統一フレームワークを提案する。 モデルエラーがメモリレスであり、大きなメモリを持つ問題に対して、連続時間と離散時間の両方で問題を提起した。 ハイブリッド手法は、データ飢餓、モデルの複雑さの要求、全体的な予測性能において、データ駆動アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-14T12:47:48Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。