論文の概要: Did the Model Change? Efficiently Assessing Machine Learning API Shifts

• arxiv url: http://arxiv.org/abs/2107.14203v1
• Date: Thu, 29 Jul 2021 17:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:27:41.687705
• Title: Did the Model Change? Efficiently Assessing Machine Learning API Shifts
• Title（参考訳）: モデルは変わったか? 機械学習apiシフトの効率的な評価
• Authors: Lingjiao Chen, Tracy Cai, Matei Zaharia, James Zou
• Abstract要約: 機械学習(ML)予測APIはますます広く使われている。 モデル更新や再トレーニングのために、時間とともに変更することも可能だ。 MLモデルがどのように変更されたかは、ユーザにとって明確ではないことが多い。
• 参考スコア（独自算出の注目度）: 24.342984907651505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) prediction APIs are increasingly widely used. An ML API can change over time due to model updates or retraining. This presents a key challenge in the usage of the API because it is often not clear to the user if and how the ML model has changed. Model shifts can affect downstream application performance and also create oversight issues (e.g. if consistency is desired). In this paper, we initiate a systematic investigation of ML API shifts. We first quantify the performance shifts from 2020 to 2021 of popular ML APIs from Google, Microsoft, Amazon, and others on a variety of datasets. We identified significant model shifts in 12 out of 36 cases we investigated. Interestingly, we found several datasets where the API's predictions became significantly worse over time. This motivated us to formulate the API shift assessment problem at a more fine-grained level as estimating how the API model's confusion matrix changes over time when the data distribution is constant. Monitoring confusion matrix shifts using standard random sampling can require a large number of samples, which is expensive as each API call costs a fee. We propose a principled adaptive sampling algorithm, MASA, to efficiently estimate confusion matrix shifts. MASA can accurately estimate the confusion matrix shifts in commercial ML APIs using up to 90% fewer samples compared to random sampling. This work establishes ML API shifts as an important problem to study and provides a cost-effective approach to monitor such shifts.
• Abstract（参考訳）: 機械学習(ML)予測APIはますます広く使われている。 ML APIは、モデル更新や再トレーニングによって、時間とともに変更することができる。 このことは、MLモデルがどう変わったか、ユーザにとって明確でないことが多いため、APIの使用において重要な課題となる。 モデルシフトは、ダウンストリームアプリケーションのパフォーマンスに影響を与える可能性がある。 もし一貫性が望まれるなら) 本稿では,ML APIシフトの体系的な調査を開始する。 私たちはまず、さまざまなデータセット上で、Google、Microsoft、Amazonなどから人気のML APIの2020年から2021年までのパフォーマンスシフトを定量化します。 調査対象36例中12例に有意なモデルシフトを認めた。 興味深いことに、APIの予測が時間とともに大幅に悪化するいくつかのデータセットを見つけました。 これにより、データの分散が一定である場合、apiモデルの混乱マトリックスがどのように変化するか見積もることにより、apiシフト評価問題をよりきめ細かいレベルで定式化しました。 標準ランダムサンプリングによる混乱の監視 マトリックスシフトには大量のサンプルが必要であり、各api呼び出しに料金がかかるためコストがかかる。 本稿では,行列シフトを効率的に推定する適応サンプリングアルゴリズム MASA を提案する。 MASAは、ランダムサンプリングよりも90%少ないサンプルを用いて、商用ML APIの混乱行列シフトを正確に推定することができる。 この研究は、ML APIシフトを研究の重要な問題として確立し、そのようなシフトを監視するためのコスト効率の良いアプローチを提供する。

関連論文リスト

• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  2サンプルテスト問題であるモデル品質テストのような歪みの検出を形式化する。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。 次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Let's Predict Who Will Move to a New Job [0.0]
  機械学習を使って、誰が新しい仕事に移行するかを予測する方法について論じる。 データはMLモデルに適したフォーマットに前処理される。 モデルは、精度、リコール、F1スコア、精度などの意思決定支援メトリクスを使用して評価される。
  論文  参考訳（メタデータ） (2023-09-15T11:43:09Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• HAPI: A Large-scale Longitudinal Dataset of Commercial ML API Predictions [35.48276161473216]
  商用ML APIアプリケーションの1,761,417インスタンスの時系列データセットであるHAPIを提示する。 各インスタンスは、APIに対するクエリ入力と、APIの出力予測/アノテーションと信頼性スコアで構成されている。
  論文  参考訳（メタデータ） (2022-09-18T01:52:16Z)
• HardVis: Visual Analytics to Handle Instance Hardness Using Undersampling and Oversampling Techniques [48.82319198853359]
  HardVisは、主に不均衡な分類シナリオでインスタンスの硬さを処理するために設計されたビジュアル分析システムである。 ユーザはさまざまな視点からデータのサブセットを探索して、これらのパラメータをすべて決定できる。 HardVisの有効性と有効性は仮説的利用シナリオとユースケースで実証される。
  論文  参考訳（メタデータ） (2022-03-29T17:04:16Z)
• Tribuo: Machine Learning with Provenance in Java [0.0]
  トレーニング、型安全性、ランタイムチェック、自動記録をひとつのフレームワークに統合するJava MLライブラリであるTribuoを紹介します。 Tribuoのモデルと評価はすべて、トレーニングアルゴリズムとともに、入力データの完全な処理パイプラインを記録している。
  論文  参考訳（メタデータ） (2021-10-06T19:10:50Z)
• Machine Learning Model Drift Detection Via Weak Data Slices [5.319802998033767]
  本研究では,データスライスと呼ばれる特徴空間規則を用いてドリフト検出を行う手法を提案する。 提案手法は,基礎となるデータの変化に基づいて,MLモデルが性能を変化させる可能性が示唆される。
  論文  参考訳（メタデータ） (2021-08-11T16:55:34Z)
• Detecting Faults during Automatic Screwdriving: A Dataset and Use Case of Anomaly Detection for Automatic Screwdriving [80.6725125503521]
  障害検出に機械学習(ML)を使用したデータ駆動型アプローチが最近注目されている。 本稿では,自動スクリュー運転時の故障検出にMLモデルを用いた場合について述べる。
  論文  参考訳（メタデータ） (2021-07-05T11:46:00Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Vamsa: Automated Provenance Tracking in Data Science Scripts [17.53546311589593]
  本稿では,MLプロビデンス追跡問題を紹介する。 このような情報をPythonのコンテキストで取得する上での課題について論じる。 ユーザコードの変更を必要とせずに,Pythonスクリプトから証明を抽出するモジュールシステムであるVamsaを提案する。
  論文  参考訳（メタデータ） (2020-01-07T02:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。