論文の概要: A Learning Based Hypothesis Test for Harmful Covariate Shift

• arxiv url: http://arxiv.org/abs/2212.02742v2
• Date: Wed, 7 Dec 2022 03:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 16:33:10.979999
• Title: A Learning Based Hypothesis Test for Harmful Covariate Shift
• Title（参考訳）: 有害な共変量シフトに対する学習に基づく仮説テスト
• Authors: Tom Ginsberg, Zhongyuan Liang, and Rahul G. Krishnan
• Abstract要約: リスクの高いドメインの機械学習システムは、アウト・オブ・ディストリビューションテストの例で予測をすべきでないことを特定する必要がある。 本研究では、トレーニングデータに同意し、テストデータに同意するように訓練された分類器のアンサンブル間の不一致を利用して、モデルがデプロイ設定から削除されるかどうかを判断する。
• 参考スコア（独自算出の注目度）: 3.1406146587437904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.
• Abstract（参考訳）: テスト時に共変量シフトを迅速かつ正確に識別する能力は、ハイリスクなドメインにデプロイされた安全な機械学習システムの重要かつしばしば見過ごされるコンポーネントである。 分散テスト例で予測をすべきでないことを検出する方法は存在するが、トレーニングとテスト時間の分散レベルの違いを特定することは、モデルがデプロイ設定から削除され、再トレーニングされるタイミングを決定するのに役立つ。 本研究では,有害な共変量シフト(HCS)を,予測モデルの一般化を弱める可能性のある分布の変化として定義する。 HCSの検出には、トレーニングデータとテストデータに一致しないように訓練された分類器のアンサンブル間の不一致を用いる。 我々は,このアンサンブルを訓練する損失関数を導出し,この不一致率とエントロピーがHCSの強力な識別統計値を表すことを示す。 実験により,多種多様な高次元データセット上で,統計的確度で有害な共変量シフトを検出する能力を示す。 多数のドメインとモダリティにまたがって,既存の手法と比較して,特に観測されたサンプル数が少ない場合,最先端の性能を示す。

関連論文リスト

• Generalization vs. Specialization under Concept Shift [12.196508752999797]
  機械学習モデルは、分散シフトの下では不安定であることが多い。 二重降下が欠如している場合でも,テスト性能が非単調なデータ依存を示すことを示す。 MNISTとFashionMNISTの実験は、この興味深い挙動が分類問題にも存在することを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T22:30:28Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Deep Learning in current Neuroimaging: a multivariate approach with power and type I error control but arguable generalization ability [0.158310730488265]
  ディープラーニングアーキテクチャを用いた分類の統計的意義を推定する非パラメトリックフレームワークを提案する。 ラベル置換試験は, クロスバリデーション (CV) と上界補正 (RUB) を併用した再置換を検証法として提案した。 我々は, CV法とRUB法が有意レベルに近い偽陽性率と許容可能な統計的力を提供することを置換試験で発見した。
  論文  参考訳（メタデータ） (2021-03-30T21:15:39Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。