論文の概要: Label Shift Estimation With Incremental Prior Update
- arxiv url: http://arxiv.org/abs/2604.01651v1
- Date: Thu, 02 Apr 2026 05:47:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.462236
- Title: Label Shift Estimation With Incremental Prior Update
- Title(参考訳): インクリメンタル事前更新によるラベルシフト推定
- Authors: Yunrui Zhang, Gustavo Batista, Salil S. Kanhere,
- Abstract要約: 本稿では,ポストホックラベルシフト推定のための新しい手法を提案する。
提案手法は他の手法に比べてキャリブレーションの弱い概念に依存している。
CIFAR-10 と MNIST の実験により,提案手法が現在最先端の極大推定法より一貫して優れていることが示された。
- 参考スコア(独自算出の注目度): 8.570631199351363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An assumption often made in supervised learning is that the training and testing sets have the same label distribution. However, in real-life scenarios, this assumption rarely holds. For example, medical diagnosis result distributions change over time and across locations; fraud detection models must adapt as patterns of fraudulent activity shift; the category distribution of social media posts changes based on trending topics and user demographics. In the task of label shift estimation, the goal is to estimate the changing label distribution $p_t(y)$ in the testing set, assuming the likelihood $p(x|y)$ does not change, implying no concept drift. In this paper, we propose a new approach for post-hoc label shift estimation, unlike previous methods that perform moment matching with confusion matrix estimated from a validation set or maximize the likelihood of the new data with an expectation-maximization algorithm. We aim to incrementally update the prior on each sample, adjusting each posterior for more accurate label shift estimation. The proposed method is based on intuitive assumptions on classifiers that are generally true for modern probabilistic classifiers. The proposed method relies on a weaker notion of calibration compared to other methods. As a post-hoc approach for label shift estimation, the proposed method is versatile and can be applied to any black-box probabilistic classifier. Experiments on CIFAR-10 and MNIST show that the proposed method consistently outperforms the current state-of-the-art maximum likelihood-based methods under different calibrations and varying intensities of label shift.
- Abstract(参考訳): 教師あり学習においてしばしばなされる仮定は、トレーニングとテストセットが同じラベルの分布を持つということである。
しかし、現実のシナリオでは、この仮定はめったに成立しない。
例えば、診断結果の分布は時間や場所によって変化し、不正検出モデルは不正行為のパターンとして適応する必要がある。
ラベルシフト推定のタスクでは、テストセットで変化するラベル分布$p_t(y)$を推定し、$p(x|y)$が変化しないことを仮定し、概念のドリフトを含まない。
本稿では,検証セットから推定した混乱行列とモーメントマッチングを行う従来の手法や,予測最大化アルゴリズムを用いて新たなデータの可能性を最大化する手法とは異なり,ポストホックラベルシフト推定のための新しい手法を提案する。
より正確なラベルシフト推定のために,各試料の先行値を漸進的に更新することを目的としている。
提案手法は、現代の確率的分類器に一般的に当てはまる分類器の直観的な仮定に基づいている。
提案手法は他の手法に比べてキャリブレーションの弱い概念に依存している。
ラベルシフト推定のためのポストホック手法として,提案手法は汎用的で,任意のブラックボックス確率分類器に適用可能である。
CIFAR-10 と MNIST の実験により,提案手法はキャリブレーションの違いとラベルシフトの強度の違いにより,現在最先端の極大推定法より一貫して優れることを示した。
関連論文リスト
- Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳(メタデータ) (2022-11-28T18:52:33Z) - Test-time Recalibration of Conformal Predictors Under Distribution Shift
Based on Unlabeled Examples [30.61588337557343]
コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。
本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
論文 参考訳(メタデータ) (2022-10-09T04:46:00Z) - Domain Adaptation under Open Set Label Shift [39.424134505152544]
オープンセットラベルシフト(OSLS)におけるドメイン適応問題について紹介する。
OSLSはラベルシフトとポジティブアンラベル(PU)学習の下でドメイン適応を仮定する。
ブラックボックス予測器を利用する両方のタスクに対して,実用的な手法を提案する。
論文 参考訳(メタデータ) (2022-07-26T17:09:48Z) - A unified framework for dataset shift diagnostics [2.449909275410288]
教師付き学習技術は典型的には、訓練データが標的人口に由来すると仮定する。
しかし、データセットのシフトが頻繁に発生し、適切に考慮しなければ、予測器の性能が低下する可能性がある。
我々は、複数のデータセットシフトの定量化とテストを行うTectorShiftという、新しいフレキシブルなフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-17T13:34:45Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳(メタデータ) (2020-10-23T08:33:04Z) - Bayesian Semi-supervised Multi-category Classification under Nonparanormality [2.307581190124002]
セミ教師付き学習はラベル付きデータとラベルなしデータの両方を使用するモデルトレーニング手法である。
本稿では,任意のカテゴリ分類問題に適用可能なベイズ半教師付き学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-11T21:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。