論文の概要: Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations
- arxiv url: http://arxiv.org/abs/2211.15646v3
- Date: Wed, 24 May 2023 17:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 02:51:56.180718
- Title: Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations
- Title（参考訳）: 分散を超えて:"純粋"相関を持つ分布に対するテスト時間ラベルシフト適応
- Authors: Qingyao Sun (University of Chicago), Kevin Murphy (Google Deepmind),
Sayna Ebrahimi (Google Cloud AI Research), Alexander D'Amour (Google
Deepmind)
- Abstract要約: テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
- 参考スコア（独自算出の注目度）: 62.997667081978825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Changes in the data distribution at test time can have deleterious effects on
the performance of predictive models $p(y|x)$. We consider situations where
there are additional meta-data labels (such as group labels), denoted by $z$,
that can account for such changes in the distribution. In particular, we assume
that the prior distribution $p(y, z)$, which models the dependence between the
class label $y$ and the "nuisance" factors $z$, may change across domains,
either due to a change in the correlation between these terms, or a change in
one of their marginals. However, we assume that the generative model for
features $p(x|y, z)$ is invariant across domains. We note that this corresponds
to an expanded version of the widely used "label shift" assumption, where the
labels now also include the nuisance factors $z$. Based on this observation, we
propose a test-time label shift correction that adapts to changes in the joint
distribution $p(y, z)$ using EM applied to unlabeled samples from the target
domain distribution, $p_t(x)$. Importantly, we are able to avoid fitting a
generative model $p(x|y,z)$, and merely need to reweight the outputs of a
discriminative model $p_s(y,z|x)$ trained on the source distribution. We
evaluate our method, which we call "Test-Time Label-Shift Adaptation" (TTLSA),
on several standard image and text datasets, as well as the CheXpert chest
X-ray dataset, and show that it improves performance over methods that target
invariance to changes in the distribution, as well as baseline empirical risk
minimization methods. Code for reproducing experiments is available at
https://github.com/nalzok/test-time-label-shift .
- Abstract（参考訳）: テスト時のデータ分布の変化は、予測モデル $p(y|x)$ のパフォーマンスに有害な影響を与える可能性がある。
我々は、分散におけるそのような変化を考慮に入れた$z$で表される追加のメタデータラベル(グループラベルなど)が存在する状況を考える。
特に、クラスラベル $y$ と "nuisance" 因子 $z$ の間の依存性をモデル化する以前の分布 $p(y, z)$ は、これらの用語間の相関の変化や、それらの限界の変化によって、ドメイン間で変化する可能性があると仮定する。
しかし、特徴量 $p(x|y, z)$ の生成モデルは領域間で不変であると仮定する。
これは広く使われている"ラベルシフト"の仮定の拡張版に対応しており、ラベルにはニュアサンス係数である$z$も含まれている。
この観察に基づいて,対象領域の非ラベルサンプルに対してemを適用した$p(y,z)$を用いたジョイント分布の変化に対応するテスト時間ラベルシフト補正,$p_t(x)$を提案する。
重要なことに、生成モデル $p(x|y,z)$ の適合を避けることができ、ソースディストリビューションでトレーニングされた識別モデル $p_s(y,z|x)$ の出力を再重ねるだけでよい。
我々は,CheXpertの胸部X線データセットと同様に,いくつかの標準画像およびテキストデータセット上でTTLSA(Test-Time Label-Shift Adaptation)と呼ぶ手法を評価し,分布の変化に対する不変性を目標とした手法と,ベースラインの実証的リスク最小化手法の性能向上を示す。
実験を再現するためのコードはhttps://github.com/nalzok/test-time-label-shiftで入手できる。
関連論文リスト
- Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift [41.60879054101201]
複数の環境下で予測が不変な学習モデルは、有望なアプローチである。
学習不変モデルは特定の条件下では不十分であることを示す。
本稿では,モデルパラメータと$p(X_textinv)の相関関係を同時に学習し,WRIを実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T23:27:10Z) - One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization [18.427215139020625]
最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。
f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
論文 参考訳（メタデータ） (2024-02-16T06:39:40Z) - Testing Dependency of Unlabeled Databases [5.384630221560811]
2つのランダムデータベース $mathsfXinmathcalXntimes d$ と $mathsfYinmathcalYntimes d$ は統計的に依存するかどうかによって異なる。
最適テストが情報理論上不可能かつ可能なしきい値の特徴付けを行う。
論文 参考訳（メタデータ） (2023-11-10T05:17:03Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳（メタデータ） (2022-10-15T04:11:56Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳（メタデータ） (2022-09-30T17:33:00Z) - Unsupervised Learning under Latent Label Shift [21.508249151557244]
ラテントラベルシフト(LLS)における教師なし学習の導入
提案アルゴリズムは, ドメイン情報を利用して, 教師なし分類手法の状況を改善することができることを示す。
論文 参考訳（メタデータ） (2022-07-26T20:52:53Z) - Data fission: splitting a single data point [27.500860533521713]
本稿では、このような有限サンプルの分割を実現するための、より一般的な方法論を提案する。
我々は、データ分割、データ彫刻、p値マスキングに代わる方法として、メソッドデータフィッションと呼ぶ。
トレンドフィルタリングやその他の回帰問題に対する選択後推論など,いくつかのアプリケーションでの手法を例示する。
論文 参考訳（メタデータ） (2021-12-21T10:27:04Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳（メタデータ） (2021-10-25T12:50:26Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳（メタデータ） (2020-10-23T08:33:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。