論文の概要: Predictive Churn with the Set of Good Models
- arxiv url: http://arxiv.org/abs/2402.07745v1
- Date: Mon, 12 Feb 2024 16:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 13:41:59.579299
- Title: Predictive Churn with the Set of Good Models
- Title(参考訳): 良いモデルの集合による予測的チャーン
- Authors: Jamelle Watson-Daniels, Flavio du Pin Calmon, Alexander D'Amour, Carol
Long, David C. Parkes, Berk Ustun
- Abstract要約: 近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
- 参考スコア(独自算出の注目度): 64.05949860750235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models in modern mass-market applications are often updated
over time. One of the foremost challenges faced is that, despite increasing
overall performance, these updates may flip specific model predictions in
unpredictable ways. In practice, researchers quantify the number of unstable
predictions between models pre and post update -- i.e., predictive churn. In
this paper, we study this effect through the lens of predictive multiplicity --
i.e., the prevalence of conflicting predictions over the set of near-optimal
models (the Rashomon set). We show how traditional measures of predictive
multiplicity can be used to examine expected churn over this set of prospective
models -- i.e., the set of models that may be used to replace a baseline model
in deployment. We present theoretical results on the expected churn between
models within the Rashomon set from different perspectives. And we characterize
expected churn over model updates via the Rashomon set, pairing our analysis
with empirical results on real-world datasets -- showing how our approach can
be used to better anticipate, reduce, and avoid churn in consumer-facing
applications. Further, we show that our approach is useful even for models
enhanced with uncertainty awareness.
- Abstract(参考訳): 現代のマスマーケットアプリケーションにおける機械学習モデルは、時間とともに更新されることが多い。
直面した最も大きな課題の1つは、全体的なパフォーマンス向上にもかかわらず、これらの更新が予測不能な方法で特定のモデル予測をひっくり返す可能性があることである。
実際に研究者は、モデルの事前と更新後の不安定な予測の数を定量化している。
本稿では、この効果を、予測多重性のレンズ、すなわち、近似モデル(羅生門集合)の集合上での矛盾する予測の頻度を通して研究する。
従来の予測多重性尺度を用いて、この予測モデルセット、すなわち、デプロイメントにおけるベースラインモデルを置き換えるために使用されるモデルの集合について、期待されるチャーンを検査する方法を示す。
異なる視点からラショモン集合内のモデル間の期待チャーンに関する理論的結果を示す。
そして私たちは、rashomonセットによるモデル更新よりも期待されているチャーンを特徴付け、実世界のデータセットに関する経験的な結果と分析を組み合わせることで、私たちのアプローチがコンシューマー向けアプリケーションのチャーンを予測、縮小、回避するのにどのように役立つかを示します。
さらに,不確実性意識が強化されたモデルにおいても,このアプローチが有効であることを示す。
関連論文リスト
- An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification [0.0]
本稿では,ラショモン効果を用いた予測多重度に及ぼすバランス法の影響について検討する。
データ中心のAIにおける盲点モデル選択は、ほぼ同じ精度のモデルのセットからリスクが高いため、非常に重要です。
論文 参考訳(メタデータ) (2024-03-22T13:08:22Z) - Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。
我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。
また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
論文 参考訳(メタデータ) (2024-02-19T17:30:09Z) - EAMDrift: An interpretable self retrain model for time series [0.0]
EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。
EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。
本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
論文 参考訳(メタデータ) (2023-05-31T13:25:26Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
確率的分類における予測的乗数性を測定するための枠組みを提案する。
実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。
その結果,予測多重度をより広範囲に報告する必要性が強調された。
論文 参考訳(メタデータ) (2022-06-02T16:25:29Z) - Consistent Counterfactuals for Deep Models [25.1271020453651]
ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。
本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
論文 参考訳(メタデータ) (2021-10-06T23:48:55Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳(メタデータ) (2021-06-08T14:48:20Z) - Learning Interpretable Deep State Space Model for Probabilistic Time
Series Forecasting [98.57851612518758]
確率的時系列予測は、その歴史に基づいて将来の分布を推定する。
本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。
実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
論文 参考訳(メタデータ) (2021-01-31T06:49:33Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。