論文の概要: "Why did the Model Fail?": Attributing Model Performance Changes to Distribution Shifts

• arxiv url: http://arxiv.org/abs/2210.10769v1
• Date: Wed, 19 Oct 2022 17:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 13:26:30.820309
• Title: "Why did the Model Fail?": Attributing Model Performance Changes to Distribution Shifts
• Title（参考訳）: 「なぜモデルが失敗したのか?」:分散シフトによるモデル性能変化の要因
• Authors: Haoran Zhang, Harvineet Singh, Marzyeh Ghassemi, Shalmali Joshi
• Abstract要約: 本稿では,環境間の性能差を基礎となるデータ生成機構の変化に寄与させる問題を紹介する。 分散の連立(あるいは集合)の価値を計算するための重要重み付け法を導出する。 2つの合成データセットと2つの実世界のケーススタディにおいて,本手法の有効性と有用性を示す。
• 参考スコア（独自算出の注目度）: 17.381178048938068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance of machine learning models may differ between training and deployment for many reasons. For instance, model performance can change between environments due to changes in data quality, observing a different population than the one in training, or changes in the relationship between labels and features. These manifest as changes to the underlying data generating mechanisms, and thereby result in distribution shifts across environments. Attributing performance changes to specific shifts, such as covariate or concept shifts, is critical for identifying sources of model failures, and for taking mitigating actions that ensure robust models. In this work, we introduce the problem of attributing performance differences between environments to shifts in the underlying data generating mechanisms. We formulate the problem as a cooperative game and derive an importance weighting method for computing the value of a coalition (or a set) of distributions. The contribution of each distribution to the total performance change is then quantified as its Shapley value. We demonstrate the correctness and utility of our method on two synthetic datasets and two real-world case studies, showing its effectiveness in attributing performance changes to a wide range of distribution shifts.
• Abstract（参考訳）: 機械学習モデルのパフォーマンスは多くの理由からトレーニングとデプロイメントの違いがある。 例えば、モデルパフォーマンスは、データ品質の変化、トレーニング中のものと異なる人口の観察、ラベルと特徴の関係の変化によって環境によって変化する可能性がある。 これらは、基盤となるデータ生成メカニズムの変更として現れ、結果として環境にまたがる分散シフトをもたらす。 covariateやconcept shiftといった特定のシフトに対するパフォーマンス変化の帰結は、モデル障害の原因を特定し、堅牢なモデルを保証するための緩和アクションを取る上で非常に重要である。 本研究では,環境間の性能差を基礎となるデータ生成機構の変化に寄与させる問題を紹介する。 この問題を協調ゲームとして定式化し,分布の連立(あるいは集合)の価値を計算する上で重要重み付け法を導出する。 そして、各分布の総性能変化への寄与をShapley値として定量化する。 2つの合成データセットと2つの実世界のケーススタディにおいて,本手法の有効性と有用性を示し,その性能変化を広範囲な分布シフトに寄与させる効果を示した。

関連論文リスト

• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• Diagnosing Model Performance Under Distribution Shift [9.143551270841858]
  予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。 提案手法は,1)トレーニングの難易度が高いが頻繁な例の増加,2)特徴と成果の関係の変化,3)トレーニング中の頻度の低い例や見当たらない例のパフォーマンス低下など,パフォーマンスの低下を用語に分解する。
  論文  参考訳（メタデータ） (2023-03-03T15:27:16Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。