論文の概要: AlerTiger: Deep Learning for AI Model Health Monitoring at LinkedIn
- arxiv url: http://arxiv.org/abs/2306.01977v1
- Date: Sat, 3 Jun 2023 01:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 21:03:39.876157
- Title: AlerTiger: Deep Learning for AI Model Health Monitoring at LinkedIn
- Title(参考訳): AlerTiger: LinkedInのAIモデルヘルスモニタリングのためのディープラーニング
- Authors: Zhentao Xu, Ruoying Wang, Girish Balaji, Manas Bundele, Xiaofei Liu,
Leo Liu, Tie Wang
- Abstract要約: AlerTigerは、企業のAIチームがAIモデルの健康状態を監視するのを支援する。
システムは、モデル統計生成、ディープラーニングベースの異常検出、異常後処理、ユーザ警告の4つの主要なステップで構成されている。
- 参考スコア(独自算出の注目度): 4.020770981811131
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Data-driven companies use AI models extensively to develop products and
intelligent business solutions, making the health of these models crucial for
business success. Model monitoring and alerting in industries pose unique
challenges, including a lack of clear model health metrics definition, label
sparsity, and fast model iterations that result in short-lived models and
features. As a product, there are also requirements for scalability,
generalizability, and explainability. To tackle these challenges, we propose
AlerTiger, a deep-learning-based MLOps model monitoring system that helps AI
teams across the company monitor their AI models' health by detecting anomalies
in models' input features and output score over time. The system consists of
four major steps: model statistics generation, deep-learning-based anomaly
detection, anomaly post-processing, and user alerting. Our solution generates
three categories of statistics to indicate AI model health, offers a two-stage
deep anomaly detection solution to address label sparsity and attain the
generalizability of monitoring new models, and provides holistic reports for
actionable alerts. This approach has been deployed to most of LinkedIn's
production AI models for over a year and has identified several model issues
that later led to significant business metric gains after fixing.
- Abstract(参考訳): データ駆動型企業は、プロダクトとインテリジェントなビジネスソリューションを開発するためにAIモデルを広範囲に使用し、これらのモデルの健全性はビジネスの成功に不可欠である。
業界におけるモデル監視と警告は、明確なモデルヘルスメトリクス定義、ラベルスパーシティ、短命なモデルと機能をもたらす高速なモデルイテレーションの欠如など、ユニークな課題を提起する。
製品としては、スケーラビリティ、汎用性、説明可能性の要件もある。
これらの課題に対処するために、我々はaiチームがモデルの入力機能の異常を検出し、時間とともにアウトプットスコアを検出することで、aiモデルの健康状態を監視することを支援するディープラーニングベースのmlopsモデル監視システムであるalrigerを提案する。
このシステムは、モデル統計生成、ディープラーニングに基づく異常検出、異常後処理、ユーザー警告の4つの主要なステップで構成されている。
我々のソリューションは、AIモデルの健康を示す3つのカテゴリの統計を生成し、ラベルの空間性に対処し、新しいモデルの監視の一般化を実現するための2段階の深層異常検出ソリューションを提供し、アクション可能なアラートに関する総合的なレポートを提供する。
このアプローチはLinkedInのプロダクションAIモデルの大部分に1年以上展開され、いくつかのモデル問題を特定し、修正後のビジネスメトリクスの大幅な向上につながった。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - A Hybrid Approach for Smart Alert Generation [28.38472792385083]
異常検出はネットワーク管理において重要な課題である。
現実世界の大規模ネットワークシステムにインテリジェントなアラートシステムをデプロイすることは難しい。
統計モデルとホワイトリスト機構を組み合わせた警告システムのためのハイブリッドモデルを提案する。
論文 参考訳(メタデータ) (2023-06-02T14:52:32Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳(メタデータ) (2023-03-02T17:27:45Z) - AI Model Utilization Measurements For Finding Class Encoding Patterns [2.702380921892937]
この研究は、訓練された人工知能(AI)モデルの活用度測定を設計する際の問題に対処する。
この問題は、セキュリティおよび安全クリティカルなアプリケーションにおけるAIモデルの説明可能性の欠如によって動機付けられている。
論文 参考訳(メタデータ) (2022-12-12T02:18:10Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳(メタデータ) (2021-11-10T17:58:18Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳(メタデータ) (2021-03-26T11:32:27Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。
複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
論文 参考訳(メタデータ) (2021-02-11T11:22:20Z) - A Simple and Interpretable Predictive Model for Healthcare [0.0]
ディープラーニングモデルは、現在、病気予測のための最先端のソリューションの大半を支配しています。
トレーニング可能なパラメータが数百万に分散したこれらのディープラーニングモデルは、トレーニングとデプロイに大量の計算とデータを必要とします。
EHRデータに適用するための,より単純かつ解釈可能な非深層学習モデルを開発した。
論文 参考訳(メタデータ) (2020-07-27T08:13:37Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。