論文の概要: Diagnosing Model Performance Under Distribution Shift

• arxiv url: http://arxiv.org/abs/2303.02011v4
• Date: Mon, 10 Jul 2023 20:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 18:50:01.004076
• Title: Diagnosing Model Performance Under Distribution Shift
• Title（参考訳）: 配電シフト時のモデル性能診断
• Authors: Tiffany Tianhui Cai, Hongseok Namkoong, Steve Yadlowsky
• Abstract要約: 予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。 提案手法は,1)トレーニングの難易度が高いが頻繁な例の増加,2)特徴と成果の関係の変化,3)トレーニング中の頻度の低い例や見当たらない例のパフォーマンス低下など,パフォーマンスの低下を用語に分解する。
• 参考スコア（独自算出の注目度）: 9.143551270841858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prediction models can perform poorly when deployed to target distributions different from the training distribution. To understand these operational failure modes, we develop a method, called DIstribution Shift DEcomposition (DISDE), to attribute a drop in performance to different types of distribution shifts. Our approach decomposes the performance drop into terms for 1) an increase in harder but frequently seen examples from training, 2) changes in the relationship between features and outcomes, and 3) poor performance on examples infrequent or unseen during training. These terms are defined by fixing a distribution on $X$ while varying the conditional distribution of $Y \mid X$ between training and target, or by fixing the conditional distribution of $Y \mid X$ while varying the distribution on $X$. In order to do this, we define a hypothetical distribution on $X$ consisting of values common in both training and target, over which it is easy to compare $Y \mid X$ and thus predictive performance. We estimate performance on this hypothetical distribution via reweighting methods. Empirically, we show how our method can 1) inform potential modeling improvements across distribution shifts for employment prediction on tabular census data, and 2) help to explain why certain domain adaptation methods fail to improve model performance for satellite image classification.
• Abstract（参考訳）: 予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。 このような運用上の障害モードを理解するために,分散シフト分解 (disde) と呼ばれる手法を開発した。 我々の手法は性能低下を用語に分解する 1) 訓練の難易度が高まるが, 頻繁な実例の増加。 2)特徴と成果の関係の変化,及び 3) 訓練中の実例での成績不良や不注意。 これらの用語は、トレーニングとターゲットの間でy \mid x$の条件分布を変化させながら、y \mid x$の条件分布を固定し、y \mid x$の条件分布をx$で変更することで定義される。 これを実現するために、トレーニングとターゲットの両方で共通する値からなる$X$の仮説分布を定義し、$Y \mid X$と予測性能を比較するのが簡単である。 我々はこの仮説分布について再重み付け手法を用いて評価する。 実証的に、我々の方法がどのようにできるかを示す。 1)表型国勢調査データに基づく雇用予測のための配当シフトにおける潜在的なモデリング改善 2) 特定の領域適応手法が衛星画像分類のモデル性能を向上できない理由を説明する。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Domain Adaptation meets Individual Fairness. And they get along [48.95808607591299]
  アルゴリズムフェアネスの介入は、機械学習モデルが分散シフトを克服するのに役立つことを示す。 特に,個人フェアネス(IF)の適切な概念を強制することで,MLモデルの分布外精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-01T16:19:55Z)
• Model Transferability With Responsive Decision Subjects [11.07759054787023]
  我々は、利用可能なソース分布でトレーニングされたモデルの性能が、その誘導されたドメインのパフォーマンスにどのように変換されるかを研究することによって、モデルの転送可能性に関する議論を形式化する。 我々は、誘導されたドメインシフトによるパフォーマンスギャップの上限と、分類器がソーストレーニング分布または誘導されたターゲット分布に悩まさなければならないトレードオフの上限の両方を提供する。
  論文  参考訳（メタデータ） (2021-07-13T08:21:37Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。