論文の概要: AlerTiger: Deep Learning for AI Model Health Monitoring at LinkedIn
- arxiv url: http://arxiv.org/abs/2306.01977v1
- Date: Sat, 3 Jun 2023 01:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 21:03:39.876157
- Title: AlerTiger: Deep Learning for AI Model Health Monitoring at LinkedIn
- Title（参考訳）: AlerTiger: LinkedInのAIモデルヘルスモニタリングのためのディープラーニング
- Authors: Zhentao Xu, Ruoying Wang, Girish Balaji, Manas Bundele, Xiaofei Liu,
Leo Liu, Tie Wang
- Abstract要約: AlerTigerは、企業のAIチームがAIモデルの健康状態を監視するのを支援する。
システムは、モデル統計生成、ディープラーニングベースの異常検出、異常後処理、ユーザ警告の4つの主要なステップで構成されている。
- 参考スコア（独自算出の注目度）: 4.020770981811131
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Data-driven companies use AI models extensively to develop products and
intelligent business solutions, making the health of these models crucial for
business success. Model monitoring and alerting in industries pose unique
challenges, including a lack of clear model health metrics definition, label
sparsity, and fast model iterations that result in short-lived models and
features. As a product, there are also requirements for scalability,
generalizability, and explainability. To tackle these challenges, we propose
AlerTiger, a deep-learning-based MLOps model monitoring system that helps AI
teams across the company monitor their AI models' health by detecting anomalies
in models' input features and output score over time. The system consists of
four major steps: model statistics generation, deep-learning-based anomaly
detection, anomaly post-processing, and user alerting. Our solution generates
three categories of statistics to indicate AI model health, offers a two-stage
deep anomaly detection solution to address label sparsity and attain the
generalizability of monitoring new models, and provides holistic reports for
actionable alerts. This approach has been deployed to most of LinkedIn's
production AI models for over a year and has identified several model issues
that later led to significant business metric gains after fixing.
- Abstract（参考訳）: データ駆動型企業は、プロダクトとインテリジェントなビジネスソリューションを開発するためにAIモデルを広範囲に使用し、これらのモデルの健全性はビジネスの成功に不可欠である。
業界におけるモデル監視と警告は、明確なモデルヘルスメトリクス定義、ラベルスパーシティ、短命なモデルと機能をもたらす高速なモデルイテレーションの欠如など、ユニークな課題を提起する。
製品としては、スケーラビリティ、汎用性、説明可能性の要件もある。
これらの課題に対処するために、我々はaiチームがモデルの入力機能の異常を検出し、時間とともにアウトプットスコアを検出することで、aiモデルの健康状態を監視することを支援するディープラーニングベースのmlopsモデル監視システムであるalrigerを提案する。
このシステムは、モデル統計生成、ディープラーニングに基づく異常検出、異常後処理、ユーザー警告の4つの主要なステップで構成されている。
我々のソリューションは、AIモデルの健康を示す3つのカテゴリの統計を生成し、ラベルの空間性に対処し、新しいモデルの監視の一般化を実現するための2段階の深層異常検出ソリューションを提供し、アクション可能なアラートに関する総合的なレポートを提供する。
このアプローチはLinkedInのプロダクションAIモデルの大部分に1年以上展開され、いくつかのモデル問題を特定し、修正後のビジネスメトリクスの大幅な向上につながった。
関連論文リスト
- Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。
ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
論文 参考訳（メタデータ） (2024-05-06T07:44:07Z) - AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。
さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
論文 参考訳（メタデータ） (2024-03-26T04:27:56Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - A Hybrid Approach for Smart Alert Generation [28.38472792385083]
異常検出はネットワーク管理において重要な課題である。
現実世界の大規模ネットワークシステムにインテリジェントなアラートシステムをデプロイすることは難しい。
統計モデルとホワイトリスト機構を組み合わせた警告システムのためのハイブリッドモデルを提案する。
論文 参考訳（メタデータ） (2023-06-02T14:52:32Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳（メタデータ） (2023-03-02T17:27:45Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳（メタデータ） (2021-11-10T17:58:18Z) - A Simple and Interpretable Predictive Model for Healthcare [0.0]
ディープラーニングモデルは、現在、病気予測のための最先端のソリューションの大半を支配しています。
トレーニング可能なパラメータが数百万に分散したこれらのディープラーニングモデルは、トレーニングとデプロイに大量の計算とデータを必要とします。
EHRデータに適用するための,より単純かつ解釈可能な非深層学習モデルを開発した。
論文 参考訳（メタデータ） (2020-07-27T08:13:37Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。