論文の概要: Label Shift Estimation With Incremental Prior Update
- arxiv url: http://arxiv.org/abs/2604.01651v1
- Date: Thu, 02 Apr 2026 05:47:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.462236
- Title: Label Shift Estimation With Incremental Prior Update
- Title(参考訳): インクリメンタル事前更新によるラベルシフト推定
- Abstract要約: 本稿では,ポストホックラベルシフト推定のための新しい手法を提案する。
提案手法は他の手法に比べてキャリブレーションの弱い概念に依存している。
CIFAR-10 と MNIST の実験により,提案手法が現在最先端の極大推定法より一貫して優れていることが示された。
- 参考スコア(独自算出の注目度): 8.570631199351363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An assumption often made in supervised learning is that the training and testing sets have the same label distribution. However, in real-life scenarios, this assumption rarely holds. For example, medical diagnosis result distributions change over time and across locations; fraud detection models must adapt as patterns of fraudulent activity shift; the category distribution of social media posts changes based on trending topics and user demographics. In the task of label shift estimation, the goal is to estimate the changing label distribution $p_t(y)$ in the testing set, assuming the likelihood $p(x|y)$ does not change, implying no concept drift. In this paper, we propose a new approach for post-hoc label shift estimation, unlike previous methods that perform moment matching with confusion matrix estimated from a validation set or maximize the likelihood of the new data with an expectation-maximization algorithm. We aim to incrementally update the prior on each sample, adjusting each posterior for more accurate label shift estimation. The proposed method is based on intuitive assumptions on classifiers that are generally true for modern probabilistic classifiers. The proposed method relies on a weaker notion of calibration compared to other methods. As a post-hoc approach for label shift estimation, the proposed method is versatile and can be applied to any black-box probabilistic classifier. Experiments on CIFAR-10 and MNIST show that the proposed method consistently outperforms the current state-of-the-art maximum likelihood-based methods under different calibrations and varying intensities of label shift.
- Abstract(参考訳): 教師あり学習においてしばしばなされる仮定は、トレーニングとテストセットが同じラベルの分布を持つということである。
しかし、現実のシナリオでは、この仮定はめったに成立しない。
例えば、診断結果の分布は時間や場所によって変化し、不正検出モデルは不正行為のパターンとして適応する必要がある。
ラベルシフト推定のタスクでは、テストセットで変化するラベル分布$p_t(y)$を推定し、$p(x|y)$が変化しないことを仮定し、概念のドリフトを含まない。
本稿では,検証セットから推定した混乱行列とモーメントマッチングを行う従来の手法や,予測最大化アルゴリズムを用いて新たなデータの可能性を最大化する手法とは異なり,ポストホックラベルシフト推定のための新しい手法を提案する。
より正確なラベルシフト推定のために,各試料の先行値を漸進的に更新することを目的としている。
提案手法は、現代の確率的分類器に一般的に当てはまる分類器の直観的な仮定に基づいている。
提案手法は他の手法に比べてキャリブレーションの弱い概念に依存している。
ラベルシフト推定のためのポストホック手法として,提案手法は汎用的で,任意のブラックボックス確率分類器に適用可能である。
CIFAR-10 と MNIST の実験により,提案手法はキャリブレーションの違いとラベルシフトの強度の違いにより,現在最先端の極大推定法より一貫して優れることを示した。
関連論文リスト
- SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。
我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。
本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
論文 参考訳(メタデータ) (2024-02-21T03:39:04Z) - Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation [16.657929958093824]
テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。
テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。
本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2024-02-07T15:41:01Z) - Estimating calibration error under label shift without labels [47.57286245320775]
既存のCE推定器は、ターゲットドメインからのラベルへのアクセスを前提としており、実際には利用できないことが多い。
本研究は、ラベルシフト中の新しいCE推定器を提案し、ソースとターゲットの分布間の条件付き$p(X|Y)$定数を維持しながら、境界ラベル分布の$p(Y)$の変化を特徴とする。
我々の貢献は、ラベル付きソース分布の重要度再重み付けを活用することによって、シフトしたターゲット分布に対する一貫性と偏りのないCE推定を提供するアプローチである。
論文 参考訳(メタデータ) (2023-12-14T01:18:51Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳(メタデータ) (2022-11-28T18:52:33Z) - Test-time Recalibration of Conformal Predictors Under Distribution Shift
Based on Unlabeled Examples [30.61588337557343]
コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。
本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
論文 参考訳(メタデータ) (2022-10-09T04:46:00Z) - Domain Adaptation under Open Set Label Shift [39.424134505152544]
オープンセットラベルシフト(OSLS)におけるドメイン適応問題について紹介する。
OSLSはラベルシフトとポジティブアンラベル(PU)学習の下でドメイン適応を仮定する。
ブラックボックス予測器を利用する両方のタスクに対して,実用的な手法を提案する。
論文 参考訳(メタデータ) (2022-07-26T17:09:48Z) - A unified framework for dataset shift diagnostics [2.449909275410288]
教師付き学習技術は典型的には、訓練データが標的人口に由来すると仮定する。
しかし、データセットのシフトが頻繁に発生し、適切に考慮しなければ、予測器の性能が低下する可能性がある。
我々は、複数のデータセットシフトの定量化とテストを行うTectorShiftという、新しいフレキシブルなフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-17T13:34:45Z) - Deep learning model solves change point detection for multiple change
types [69.77452691994712]
変更点検出は、データ分散の急激な障害をキャッチすることを目的としている。
本稿では,マルチディストリビューションシナリオにおけるアプローチを提案する。
論文 参考訳(メタデータ) (2022-04-15T09:44:21Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳(メタデータ) (2020-10-23T08:33:04Z) - Sequential changepoint detection in classification data under label
shift [1.6752182911522522]
逐次保存・ラベルなし分類データにおける分布変化を検出することの問題点を考察する。
シミュレーションでは,このラベルシフト設定において,本手法が他の検出手順より優れていることを示す。
論文 参考訳(メタデータ) (2020-09-18T02:26:46Z) - Bayesian Semi-supervised Multi-category Classification under Nonparanormality [2.307581190124002]
セミ教師付き学習はラベル付きデータとラベルなしデータの両方を使用するモデルトレーニング手法である。
本稿では,任意のカテゴリ分類問題に適用可能なベイズ半教師付き学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-11T21:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。