論文の概要: Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations

• arxiv url: http://arxiv.org/abs/2211.15646v1
• Date: Mon, 28 Nov 2022 18:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 16:15:03.377366
• Title: Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations
• Title（参考訳）: 分散を超えて:"純粋"相関を持つ分布に対するテスト時間ラベルシフト適応
• Authors: Qingyao Sun (University of Chicago), Kevin Murphy (Google Brain), Sayna Ebrahimi (Google Cloud), Alexander D'Amour (Google Brain)
• Abstract要約: モデルがデプロイ可能なドメイン間で変化する鮮やかな相関、あるいは相関は、機械学習モデルの現実的な応用に重大な課題をもたらす。 本稿では,スプリアス相関現象を利用したテスト時間適応手法を提案する。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spurious correlations, or correlations that change across domains where a model can be deployed, present significant challenges to real-world applications of machine learning models. However, such correlations are not always "spurious"; often, they provide valuable prior information for a prediction beyond what can be extracted from the input alone. Here, we present a test-time adaptation method that exploits the spurious correlation phenomenon, in contrast to recent approaches that attempt to eliminate spurious correlations through invariance. We consider situations where the prior distribution $p(y, z)$, which models the marginal dependence between the class label $y$ and the nuisance factors $z$, may change across domains, but the generative model for features $p(\mathbf{x}|y, z)$ is constant. We note that this is an expanded version of the label shift assumption, where the labels now also include the nuisance factors $z$. Based on this observation, we train a classifier to predict $p(y, z|\mathbf{x})$ on the source distribution, and implement a test-time label shift correction that adapts to changes in the marginal distribution $p(y, z)$ using unlabeled samples from the target domain. We call our method "Test-Time Label-Shift Adaptation" or TTLSA. We apply our method to two different image datasets -- the CheXpert chest X-ray dataset and the colored MNIST dataset -- and show that it gives better downstream results than methods that try to train classifiers which are invariant to the changes in prior distribution. Code reproducing experiments is available at https://github.com/nalzok/test-time-label-shift .
• Abstract（参考訳）: 厳密な相関、あるいはモデルをデプロイ可能なドメイン間で変化する相関は、機械学習モデルの現実的な応用に重大な課題をもたらす。 しかし、そのような相関は常に「純然たる」とは限らない;多くの場合、それらは入力のみから抽出できる以上の予測のための貴重な事前情報を提供する。 本稿では,非分散によるスプリアス相関を解消しようとする近年のアプローチとは対照的に,スプリアス相関現象を利用したテスト時間適応法を提案する。 クラスラベル $y$ とニュアサンス係数 $z$ の間の限界依存性をモデル化する事前分布 $p(y, z)$ がドメイン間で変化する可能性があるが、フィーチャ $p(\mathbf{x}|y, z)$ の生成モデルは一定である。 これはラベルシフトの仮定の拡張版であり、そこではラベルには$z$というニュアンス要素も含まれている。 この観測に基づいて、ソース分布上で$p(y, z|\mathbf{x})$を予測できるように分類器を訓練し、対象領域からの未ラベルのサンプルを用いて、限界分布$p(y, z)$の変化に対応するテストタイムラベルシフト補正を実装する。 我々はこの手法をTTLSA(Test-Time Label-Shift Adaptation)と呼ぶ。 我々は、CheXpertの胸部X線データセットと色付きMNISTデータセットの2つの異なる画像データセットに適用し、従来の分布の変化に不変な分類器を訓練する手法よりも、下流結果が優れていることを示す。 コード再現実験はhttps://github.com/nalzok/test-time-label-shiftで利用可能である。

関連論文リスト

• Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift [41.60879054101201]
  複数の環境下で予測が不変な学習モデルは、有望なアプローチである。 学習不変モデルは特定の条件下では不十分であることを示す。 本稿では,モデルパラメータと$p(X_textinv)の相関関係を同時に学習し,WRIを実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T23:27:10Z)
• One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization [18.427215139020625]
  最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。 f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
  論文  参考訳（メタデータ） (2024-02-16T06:39:40Z)
• Testing Dependency of Unlabeled Databases [5.384630221560811]
  2つのランダムデータベース $mathsfXinmathcalXntimes d$ と $mathsfYinmathcalYntimes d$ は統計的に依存するかどうかによって異なる。 最適テストが情報理論上不可能かつ可能なしきい値の特徴付けを行う。
  論文  参考訳（メタデータ） (2023-11-10T05:17:03Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• How Does Pseudo-Labeling Affect the Generalization Error of the Semi-Supervised Gibbs Algorithm? [73.80001705134147]
  擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。 ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
  論文  参考訳（メタデータ） (2022-10-15T04:11:56Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Unsupervised Learning under Latent Label Shift [21.508249151557244]
  ラテントラベルシフト(LLS)における教師なし学習の導入 提案アルゴリズムは, ドメイン情報を利用して, 教師なし分類手法の状況を改善することができることを示す。
  論文  参考訳（メタデータ） (2022-07-26T20:52:53Z)
• Data fission: splitting a single data point [27.500860533521713]
  本稿では、このような有限サンプルの分割を実現するための、より一般的な方法論を提案する。 我々は、データ分割、データ彫刻、p値マスキングに代わる方法として、メソッドデータフィッションと呼ぶ。 トレンドフィルタリングやその他の回帰問題に対する選択後推論など,いくつかのアプリケーションでの手法を例示する。
  論文  参考訳（メタデータ） (2021-12-21T10:27:04Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。