論文の概要: Online Feature Updates Improve Online (Generalized) Label Shift
Adaptation
- arxiv url: http://arxiv.org/abs/2402.03545v1
- Date: Mon, 5 Feb 2024 22:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 17:32:43.629055
- Title: Online Feature Updates Improve Online (Generalized) Label Shift
Adaptation
- Title(参考訳): オンライン機能アップデートによりオンライン(一般)ラベルシフト適応が改善
- Authors: Ruihan Wu and Siddhartha Datta and Yi Su and Dheeraj Baby and Yu-Xiang
Wang and Kilian Q. Weinberger
- Abstract要約: 本稿では,ラベルを欠いたオンライン環境におけるラベルシフトの問題に対処する。
テスト時にラベルのないデータを用いて特徴表現を拡張できる未解決の可能性を探る。
オンライン特徴更新(OLS-OFU)を用いたオンラインラベルシフト適応手法は,自己教師付き学習を活用し,特徴抽出プロセスの洗練を図る。
- 参考スコア(独自算出の注目度): 54.3888105557787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the prevalent issue of label shift in an online setting
with missing labels, where data distributions change over time and obtaining
timely labels is challenging. While existing methods primarily focus on
adjusting or updating the final layer of a pre-trained classifier, we explore
the untapped potential of enhancing feature representations using unlabeled
data at test-time. Our novel method, Online Label Shift adaptation with Online
Feature Updates (OLS-OFU), leverages self-supervised learning to refine the
feature extraction process, thereby improving the prediction model. Theoretical
analyses confirm that OLS-OFU reduces algorithmic regret by capitalizing on
self-supervised learning for feature refinement. Empirical studies on various
datasets, under both online label shift and generalized label shift conditions,
underscore the effectiveness and robustness of OLS-OFU, especially in cases of
domain shifts.
- Abstract(参考訳): 本稿では、時間とともにデータ分布が変化し、タイムリーなラベルを取得することが困難であるオンラインラベル設定におけるラベルシフトの問題に対処する。
既存の手法は主に事前訓練された分類器の最終レイヤの調整や更新に重点を置いているが、テスト時にラベルのないデータを使って特徴表現を拡張できる未解決の可能性を探る。
オンライン特徴更新を用いたオンラインラベルシフト適応法(OLS-OFU)では,自己教師付き学習を活用して特徴抽出を洗練し,予測モデルを改善する。
理論的分析により、OLS-OFUは特徴改善のための自己教師付き学習に乗じてアルゴリズム的後悔を減らすことが確認された。
オンラインラベルシフトと一般的なラベルシフト条件の両方下での様々なデータセットに関する実証的研究は、特にドメインシフトの場合、ols-ofuの有効性と堅牢性を強調している。
関連論文リスト
- Channel-Selective Normalization for Label-Shift Robust Test-Time
Adaptation [17.375390435493017]
テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。
テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。
本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2024-02-07T15:41:01Z) - Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms [33.61487362513345]
本稿では、教師付きおよび教師なしのオンラインラベルシフトに焦点を当て、クラス境界の$Q(y)$は異なるが、クラス条件の$Q(x|y)$は不変である。
教師なしの環境では、オフラインラベル付きデータに基づいてトレーニングされた学習者を、ラベルなしのオンラインデータに対してラベル分布を変更するように適応させることが目的です。
我々は,オンライン回帰への適応問題を低減し,ラベル分布のドリフトの程度を事前に知ることなく,最適な動的後悔を保証する新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-05-31T05:39:52Z) - Rethinking Precision of Pseudo Label: Test-Time Adaptation via
Complementary Learning [10.396596055773012]
本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。
テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。
我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
論文 参考訳(メタデータ) (2023-01-15T03:36:33Z) - Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
オンラインラベルシフトの問題を定式化し,検討する。
非定常性と監督の欠如は、この問題に取り組むことを困難にしている。
我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
論文 参考訳(メタデータ) (2022-07-05T15:43:14Z) - Online Adaptation to Label Distribution Shift [37.91472909652585]
我々は、FTL(Follow The Leader)やOGD(Online Gradient Descent)といった古典的なオンライン学習手法にインスパイアされた適応アルゴリズムを提案する。
シミュレーションと実世界におけるラベルの分布変化の両面から得られた知見を実証的に検証し、OGDが様々な難解なラベルのシフトシナリオに対して特に効果的で堅牢であることを示す。
論文 参考訳(メタデータ) (2021-07-09T16:12:19Z) - Cycle Self-Training for Domain Adaptation [85.14659717421533]
Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。
CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。
実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
論文 参考訳(メタデータ) (2021-03-05T10:04:25Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳(メタデータ) (2021-02-25T14:56:19Z) - Dual-Refinement: Joint Label and Feature Refinement for Unsupervised
Domain Adaptive Person Re-Identification [51.98150752331922]
Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。
オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。
本手法は最先端手法を大きなマージンで上回っている。
論文 参考訳(メタデータ) (2020-12-26T07:35:35Z) - Selective Pseudo-Labeling with Reinforcement Learning for
Semi-Supervised Domain Adaptation [116.48885692054724]
半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。
高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。
提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2020-12-07T03:37:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。