論文の概要: "Why did the Model Fail?": Attributing Model Performance Changes to
Distribution Shifts
- arxiv url: http://arxiv.org/abs/2210.10769v3
- Date: Tue, 6 Jun 2023 07:05:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 21:32:53.014178
- Title: "Why did the Model Fail?": Attributing Model Performance Changes to
Distribution Shifts
- Title（参考訳）: 「なぜモデルが失敗したのか?」:分散シフトによるモデル性能変化の要因
- Authors: Haoran Zhang, Harvineet Singh, Marzyeh Ghassemi, Shalmali Joshi
- Abstract要約: 本稿では,環境間の性能差を基礎となるデータ生成機構の分散シフトに寄与する問題を紹介する。
任意の分布の集合の値を計算するための重み付け法を導出する。
本研究では, 合成, 半合成, 実世界のケーススタディにおいて, 提案手法の正しさと有用性を示す。
- 参考スコア（独自算出の注目度）: 17.381178048938068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models frequently experience performance drops under
distribution shifts. The underlying cause of such shifts may be multiple
simultaneous factors such as changes in data quality, differences in specific
covariate distributions, or changes in the relationship between label and
features. When a model does fail during deployment, attributing performance
change to these factors is critical for the model developer to identify the
root cause and take mitigating actions. In this work, we introduce the problem
of attributing performance differences between environments to distribution
shifts in the underlying data generating mechanisms. We formulate the problem
as a cooperative game where the players are distributions. We define the value
of a set of distributions to be the change in model performance when only this
set of distributions has changed between environments, and derive an importance
weighting method for computing the value of an arbitrary set of distributions.
The contribution of each distribution to the total performance change is then
quantified as its Shapley value. We demonstrate the correctness and utility of
our method on synthetic, semi-synthetic, and real-world case studies, showing
its effectiveness in attributing performance changes to a wide range of
distribution shifts.
- Abstract（参考訳）: 機械学習モデルは、分散シフト下でパフォーマンス低下をしばしば経験する。
このようなシフトの根本原因は、データ品質の変化、特定の共変量分布の違い、ラベルと特徴の関係の変化など、複数の同時的要因である可能性がある。
モデルがデプロイ中にフェールした場合、これらの要因にパフォーマンス変化をもたらすことは、モデル開発者が根本原因を特定し、アクションを緩和することが重要である。
本研究では,環境間の性能差を基礎となるデータ生成機構の分散シフトに寄与する問題を紹介する。
プレイヤーが分散している協調ゲームとして問題を定式化する。
我々は,この分布群が環境間でのみ変化したときのモデル性能の変化として,分布群の価値を定義し,任意の分布群の価値を計算するための重要重み付け法を導出する。
そして、各分布の総性能変化への寄与をShapley値として定量化する。
提案手法の正しさと有効性は, 合成, 半合成, 実世界のケーススタディにおいて実証され, 幅広い分布シフトに性能変化をもたらす効果を示す。
関連論文リスト
- Quantifying Uncertainty and Variability in Machine Learning: Confidence Intervals for Quantiles in Performance Metric Distributions [0.17265013728931003]
マシンラーニングモデルは、信頼性と堅牢性が重要であるアプリケーションで広く使用されている。
モデル評価は、しばしば、モデルパフォーマンスの固有の変数をキャプチャできないパフォーマンスメトリクスの単一ポイント推定に依存します。
この貢献は、そのような分布を分析するために量子と信頼区間を使うことを探求し、モデルの性能とその不確実性についてより完全な理解を提供する。
論文 参考訳（メタデータ） (2025-01-28T13:21:34Z) - Proxy Methods for Domain Adaptation [78.03254010884783]
プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。
両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
論文 参考訳（メタデータ） (2024-03-12T09:32:41Z) - Diagnosing Model Performance Under Distribution Shift [9.143551270841858]
予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。
提案手法は,1)トレーニングの難易度が高いが頻繁な例の増加,2)特徴と成果の関係の変化,3)トレーニング中の頻度の低い例や見当たらない例のパフォーマンス低下など,パフォーマンスの低下を用語に分解する。
論文 参考訳（メタデータ） (2023-03-03T15:27:16Z) - Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。
提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
論文 参考訳（メタデータ） (2022-06-06T17:32:12Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳（メタデータ） (2022-01-28T22:03:50Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳（メタデータ） (2021-07-09T19:48:23Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳（メタデータ） (2020-07-06T17:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。