論文の概要: Predictive Churn with the Set of Good Models

• arxiv url: http://arxiv.org/abs/2402.07745v1
• Date: Mon, 12 Feb 2024 16:15:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:41:59.579299
• Title: Predictive Churn with the Set of Good Models
• Title（参考訳）: 良いモデルの集合による予測的チャーン
• Authors: Jamelle Watson-Daniels, Flavio du Pin Calmon, Alexander D'Amour, Carol Long, David C. Parkes, Berk Ustun
• Abstract要約: 近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
• 参考スコア（独自算出の注目度）: 64.05949860750235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models in modern mass-market applications are often updated over time. One of the foremost challenges faced is that, despite increasing overall performance, these updates may flip specific model predictions in unpredictable ways. In practice, researchers quantify the number of unstable predictions between models pre and post update -- i.e., predictive churn. In this paper, we study this effect through the lens of predictive multiplicity -- i.e., the prevalence of conflicting predictions over the set of near-optimal models (the Rashomon set). We show how traditional measures of predictive multiplicity can be used to examine expected churn over this set of prospective models -- i.e., the set of models that may be used to replace a baseline model in deployment. We present theoretical results on the expected churn between models within the Rashomon set from different perspectives. And we characterize expected churn over model updates via the Rashomon set, pairing our analysis with empirical results on real-world datasets -- showing how our approach can be used to better anticipate, reduce, and avoid churn in consumer-facing applications. Further, we show that our approach is useful even for models enhanced with uncertainty awareness.
• Abstract（参考訳）: 現代のマスマーケットアプリケーションにおける機械学習モデルは、時間とともに更新されることが多い。 直面した最も大きな課題の1つは、全体的なパフォーマンス向上にもかかわらず、これらの更新が予測不能な方法で特定のモデル予測をひっくり返す可能性があることである。 実際に研究者は、モデルの事前と更新後の不安定な予測の数を定量化している。 本稿では、この効果を、予測多重性のレンズ、すなわち、近似モデル(羅生門集合)の集合上での矛盾する予測の頻度を通して研究する。 従来の予測多重性尺度を用いて、この予測モデルセット、すなわち、デプロイメントにおけるベースラインモデルを置き換えるために使用されるモデルの集合について、期待されるチャーンを検査する方法を示す。 異なる視点からラショモン集合内のモデル間の期待チャーンに関する理論的結果を示す。 そして私たちは、rashomonセットによるモデル更新よりも期待されているチャーンを特徴付け、実世界のデータセットに関する経験的な結果と分析を組み合わせることで、私たちのアプローチがコンシューマー向けアプリケーションのチャーンを予測、縮小、回避するのにどのように役立つかを示します。 さらに,不確実性意識が強化されたモデルにおいても,このアプローチが有効であることを示す。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification [0.0]
  本稿では,ラショモン効果を用いた予測多重度に及ぼすバランス法の影響について検討する。 データ中心のAIにおける盲点モデル選択は、ほぼ同じ精度のモデルのセットからリスクが高いため、非常に重要です。
  論文  参考訳（メタデータ） (2024-03-22T13:08:22Z)
• Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
  異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。 我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。 また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T17:30:09Z)
• EAMDrift: An interpretable self retrain model for time series [0.0]
  EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。 EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。 本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:25:26Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Consistent Counterfactuals for Deep Models [25.1271020453651]
  ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。 本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T23:48:55Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
  確率的時系列予測は、その歴史に基づいて将来の分布を推定する。 本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。 実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
  論文  参考訳（メタデータ） (2021-01-31T06:49:33Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。