論文の概要: Class Probability Matching Using Kernel Methods for Label Shift
Adaptation
- arxiv url: http://arxiv.org/abs/2312.07282v1
- Date: Tue, 12 Dec 2023 13:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 15:48:46.860497
- Title: Class Probability Matching Using Kernel Methods for Label Shift
Adaptation
- Title（参考訳）: ラベルシフト適応のためのカーネル法によるクラス確率マッチング
- Authors: Hongwei Wen, Annika Betken, Hanyuan Hang
- Abstract要約: ラベルシフト適応のためのtextitclass probability matching (textitCPM) という新しいフレームワークを提案する。
カーネルロジスティック回帰をCPMフレームワークに組み込んで条件付き確率を推定することにより,ラベルシフト適応のためのtextitCPMKM というアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 10.926835355554553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In domain adaptation, covariate shift and label shift problems are two
distinct and complementary tasks. In covariate shift adaptation where the
differences in data distribution arise from variations in feature
probabilities, existing approaches naturally address this problem based on
\textit{feature probability matching} (\textit{FPM}). However, for label shift
adaptation where the differences in data distribution stem solely from
variations in class probability, current methods still use FPM on the
$d$-dimensional feature space to estimate the class probability ratio on the
one-dimensional label space. To address label shift adaptation more naturally
and effectively, inspired by a new representation of the source domain's class
probability, we propose a new framework called \textit{class probability
matching} (\textit{CPM}) which matches two class probability functions on the
one-dimensional label space to estimate the class probability ratio,
fundamentally different from FPM operating on the $d$-dimensional feature
space. Furthermore, by incorporating the kernel logistic regression into the
CPM framework to estimate the conditional probability, we propose an algorithm
called \textit{class probability matching using kernel methods}
(\textit{CPMKM}) for label shift adaptation. From the theoretical perspective,
we establish the optimal convergence rates of CPMKM with respect to the
cross-entropy loss for multi-class label shift adaptation. From the
experimental perspective, comparisons on real datasets demonstrate that CPMKM
outperforms existing FPM-based and maximum-likelihood-based algorithms.
- Abstract（参考訳）: ドメイン適応では、共変量シフトとラベルシフト問題は2つの相補的タスクである。
データ分布の違いが特徴確率のばらつきから生じる共変量シフト適応では、既存のアプローチは自然にこの問題に対して \textit{feature probability matching} (\textit{fpm}) に基づいて対処する。
しかし、データ分布の違いがクラス確率の変化にのみ依存するラベルシフト適応の場合、現在の手法では、$d$次元の特徴空間上のFPMを用いて1次元ラベル空間上のクラス確率比を推定している。
ラベルシフト適応をより自然かつ効果的に扱うために、ソースドメインのクラス確率の新しい表現に着想を得て、1次元ラベル空間上の2つのクラス確率関数をマッチングしてクラス確率比を推定する \textit{class probability matching} (\textit{cpm}) と呼ばれる新しいフレームワークを提案する。
さらに、カーネルロジスティック回帰をCPMフレームワークに組み込んで条件付き確率を推定することにより、ラベルシフト適応のためのカーネルメソッドを用いた \textit{class probability matching} (\textit{CPMKM}) と呼ばれるアルゴリズムを提案する。
理論的な観点から、多クラスラベルシフト適応におけるクロスエントロピー損失に関して、CPMKMの最適収束率を確立する。
実験的な観点から、実際のデータセットの比較は、CPMKMが既存のFPMベースおよび最大形アルゴリズムより優れていることを示している。
関連論文リスト
- Improving Distribution Alignment with Diversity-based Sampling [0.0]
ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。
本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。
同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
論文 参考訳（メタデータ） (2024-10-05T17:26:03Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - RLSbench: Domain Adaptation Under Relaxed Label Shift [39.845383643588356]
ラベルシフトを緩和するための大規模ベンチマークであるRSbenchを紹介する。
13の一般的なドメイン適応手法を評価し、ラベル比のシフトにより、従来よりも広範な障害を示す。
我々は、ほとんどのドメイン適応と互換性のある効果的な2段階メタアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-02-06T18:57:14Z) - Cycle Label-Consistent Networks for Unsupervised Domain Adaptation [57.29464116557734]
ドメイン適応は、ラベル付きソースドメインを活用して、異なる分布を持つラベル付きターゲットドメインの分類子を学ぶことを目的としています。
本稿では,分類ラベルのサイクル整合性を利用して,シンプルで効率的な領域適応手法,すなわちCycle Label-Consistent Network (CLCN)を提案する。
MNIST-USPS-SVHN, Office-31, Office-Home, Image CLEF-DAベンチマークに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2022-05-27T13:09:08Z) - PPFS: Predictive Permutation Feature Selection [2.502407331311937]
マルコフ・ブランケット(MB)の概念に基づく新しいラッパーに基づく特徴選択手法を提案する。
従来のMB法とは異なり、PPFSは分類タスクと回帰タスクの両方に使えるため、普遍的な特徴選択技術である。
本稿では,PPI(Predictive Permutation Independence)という新しい条件付き独立性テストを提案し,PPFSをラッパー特徴選択法として分類する。
論文 参考訳（メタデータ） (2021-10-20T18:18:18Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳（メタデータ） (2021-05-22T18:07:56Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。
統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。
本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
論文 参考訳（メタデータ） (2021-01-25T09:46:14Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳（メタデータ） (2020-10-23T08:33:04Z) - Posterior Re-calibration for Imbalanced Datasets [33.379680556475314]
トレーニングラベルの分布が極めて不均衡な場合、ニューラルネットワークは性能が良くない。
我々は、KL分割に基づく最適化によって解決できる訓練後の事前バランス手法を導出する。
6つの異なるデータセットと5つの異なるアーキテクチャで得られた結果は、芸術的正確性を示している。
論文 参考訳（メタデータ） (2020-10-22T15:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。