論文の概要: Amazon SageMaker Model Monitor: A System for Real-Time Insights into Deployed Machine Learning Models

• arxiv url: http://arxiv.org/abs/2111.13657v1
• Date: Fri, 26 Nov 2021 18:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 14:21:30.688719
• Title: Amazon SageMaker Model Monitor: A System for Real-Time Insights into Deployed Machine Learning Models
• Title（参考訳）: Amazon SageMaker Model Monitor: デプロイされた機械学習モデルに対するリアルタイム洞察システム
• Authors: David Nigenda, Zohar Karnin, Muhammad Bilal Zafar, Raghu Ramesha, Alan Tan, Michele Donini, Krishnaram Kenthapadi
• Abstract要約: Amazon SageMaker Model Monitorはフルマネージドなサービスで、Amazon SageMakerでホストされている機械学習モデルの品質を継続的に監視します。 我々のシステムは,モデルにおけるデータ,概念,バイアス,特徴帰属ドリフトをリアルタイムで検出し,モデル所有者が正しい行動を取るように警告する。
• 参考スコア（独自算出の注目度）: 15.013638492229376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing adoption of machine learning (ML) models and systems in high-stakes settings across different industries, guaranteeing a model's performance after deployment has become crucial. Monitoring models in production is a critical aspect of ensuring their continued performance and reliability. We present Amazon SageMaker Model Monitor, a fully managed service that continuously monitors the quality of machine learning models hosted on Amazon SageMaker. Our system automatically detects data, concept, bias, and feature attribution drift in models in real-time and provides alerts so that model owners can take corrective actions and thereby maintain high quality models. We describe the key requirements obtained from customers, system design and architecture, and methodology for detecting different types of drift. Further, we provide quantitative evaluations followed by use cases, insights, and lessons learned from more than 1.5 years of production deployment.
• Abstract（参考訳）: 機械学習(ML)モデルとシステムがさまざまな産業にまたがってハイテイクな設定で採用されることで、デプロイ後のモデルのパフォーマンスが重要になっている。 運用環境でのモデル監視は、継続的なパフォーマンスと信頼性を保証する上で重要な側面です。 Amazon SageMaker Model Monitorはフルマネージドなサービスで、Amazon SageMakerでホストされている機械学習モデルの品質を継続的に監視します。 本システムでは,モデル内のデータ,概念,バイアス,特徴帰属をリアルタイムで自動的に検出し,モデルオーナが修正措置を講じて高品質なモデルを維持するための警告を提供する。 顧客から得られた重要な要件、システム設計とアーキテクチャ、および異なる種類のドリフトを検出するための方法論について述べる。 さらに,1.5年以上の製品展開から学んだユースケース,洞察,教訓を定量的に評価する。

関連論文リスト

• Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
  そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。 我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。 大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Beimingwu: A Learnware Dock System [42.54363998206648]
  本稿では,Beimingwuについて述べる。Beimingwuはオープンソースのラーニングウェアドックシステムであり,将来のラーニングウェアパラダイムの研究に基盤的支援を提供する。 このシステムは、統合アーキテクチャとエンジン設計のおかげで、新しいユーザータスクのためのモデル開発を大幅に効率化する。 特に、生データのセキュリティを損なうことなく、限られたデータと機械学習に関する最小限の専門知識を持つユーザでも、これは可能だ。
  論文  参考訳（メタデータ） (2024-01-24T09:27:51Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• On-device Training: A First Overview on Existing Systems [8.0653715405809]
  リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。 この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T19:22:29Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Domain-aware Control-oriented Neural Models for Autonomous Underwater Vehicles [2.4779082385578337]
  ドメイン認識のレベルが異なる制御指向パラメトリックモデルを提案する。 データ駆動型ブラックボックスとAUVダイナミクスのグレイボックス表現を構築するために、普遍微分方程式を用いる。
  論文  参考訳（メタデータ） (2022-08-15T17:01:14Z)
• Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
  モデルに基づく視覚的目標達成のための自己監視手法を提案する。 私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。 このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T23:59:09Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology [53.063411515511056]
  本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。 第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。 第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
  論文  参考訳（メタデータ） (2020-03-11T08:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。