論文の概要: Adapting to Online Label Shift with Provable Guarantees

• arxiv url: http://arxiv.org/abs/2207.02121v1
• Date: Tue, 5 Jul 2022 15:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 13:56:01.109955
• Title: Adapting to Online Label Shift with Provable Guarantees
• Title（参考訳）: Provable Guaranteesによるオンラインラベルシフトへの適応
• Authors: Yong Bai, Yu-Jie Zhang, Peng Zhao, Masashi Sugiyama, Zhi-Hua Zhou
• Abstract要約: オンラインラベルシフトの問題を定式化し,検討する。 非定常性と監督の欠如は、この問題に取り組むことを困難にしている。 我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
• 参考スコア（独自算出の注目度）: 137.89382409682233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard supervised learning paradigm works effectively when training data shares the same distribution as the upcoming testing samples. However, this assumption is often violated in real-world applications, especially when testing data appear in an online fashion. In this paper, we formulate and investigate the problem of online label shift (OLaS): the learner trains an initial model from the labeled offline data and then deploys it to an unlabeled online environment where the underlying label distribution changes over time but the label-conditional density does not. The non-stationarity nature and the lack of supervision make the problem challenging to be tackled. To address the difficulty, we construct a new unbiased risk estimator that utilizes the unlabeled data, which exhibits many benign properties albeit with potential non-convexity. Building upon that, we propose novel online ensemble algorithms to deal with the non-stationarity of the environments. Our approach enjoys optimal dynamic regret, indicating that the performance is competitive with a clairvoyant who knows the online environments in hindsight and then chooses the best decision for each round. The obtained dynamic regret bound scales with the intensity and pattern of label distribution shift, hence exhibiting the adaptivity in the OLaS problem. Extensive experiments are conducted to validate the effectiveness and support our theoretical findings.
• Abstract（参考訳）: 標準教師付き学習パラダイムは、トレーニングデータが今後のテストサンプルと同じ分布を共有する場合に効果的に機能する。 しかし、この仮定は現実世界のアプリケーション、特にテストデータがオンライン形式で現れる場合、しばしば違反される。 本稿では,学習者がラベル付きオフラインデータから初期モデルをトレーニングし,基礎となるラベル分布が時間とともに変化するが,ラベル条件密度が変化しない未ラベル付きオンライン環境に展開する,オンラインラベルシフト(OLaS)の問題を定式化し,検討する。 非定常性と監督の欠如は、問題に取り組むのを難しくする。 難易度に対処するために,非ラベルデータを利用する新たな非バイアスリスク推定器を構築し,非凸性はあるものの多くの良性を示す。 そこで我々は,環境の非定常性に対処する新しいオンラインアンサンブルアルゴリズムを提案する。 私たちのアプローチは、最適な動的後悔を味わい、パフォーマンスは、オンライン環境を後から把握し、各ラウンドの最適な決定を選択する透視能力者と競合していることを示している。 得られた動的後悔境界尺度はラベル分布シフトの強度とパターンを伴い,olas問題に適応性を示した。 有効性を検証し,理論的な知見を支持するために,広範な実験を行った。

関連論文リスト

• An adaptive transfer learning perspective on classification in non-stationary environments [3.5897534810405403]
  非定常ラベルシフトを伴う半教師付き分類問題を考える。 本研究では,適応的伝達学習の統計的手法に基づく代替手法について検討する。 それぞれのテスト時間におけるテストエラーに縛られた高い確率的後悔を確立し、限界ラベル確率の未知のダイナミクスに自動的に適応する。
  論文  参考訳（メタデータ） (2024-05-28T11:57:29Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Online Feature Updates Improve Online (Generalized) Label Shift Adaptation [51.328801874640675]
  オンライン特徴更新を用いたオンラインラベルシフト適応法(OLS-OFU)は,自己教師付き学習を利用して特徴抽出プロセスを洗練する。 アルゴリズムを慎重に設計することで、OLS-OFUは改善された特徴を考慮しつつ、文献の結果に類似したオンライン後悔の収束を維持している。
  論文  参考訳（メタデータ） (2024-02-05T22:03:25Z)
• Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms [33.61487362513345]
  本稿では、教師付きおよび教師なしのオンラインラベルシフトに焦点を当て、クラス境界の$Q(y)$は異なるが、クラス条件の$Q(x|y)$は不変である。 教師なしの環境では、オフラインラベル付きデータに基づいてトレーニングされた学習者を、ラベルなしのオンラインデータに対してラベル分布を変更するように適応させることが目的です。 我々は,オンライン回帰への適応問題を低減し,ラベル分布のドリフトの程度を事前に知ることなく,最適な動的後悔を保証する新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-31T05:39:52Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
  そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。 提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-26T16:03:55Z)
• Online Adaptation to Label Distribution Shift [37.91472909652585]
  我々は、FTL(Follow The Leader)やOGD(Online Gradient Descent)といった古典的なオンライン学習手法にインスパイアされた適応アルゴリズムを提案する。 シミュレーションと実世界におけるラベルの分布変化の両面から得られた知見を実証的に検証し、OGDが様々な難解なラベルのシフトシナリオに対して特に効果的で堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-09T16:12:19Z)
• Online Continual Adaptation with Active Self-Training [69.5815645379945]
  本研究では,ラベルなしサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が変化に継続的に適応することを目的としたオンライン環境を提案する。 Online Self-Adaptive Mirror Descent (OSAMD)は、未ラベルのデータからオンラインの自己学習を可能にするオンライン教師学生構造を採用している。 我々は,OSAMDが実世界とシミュレーションデータの両方に限定されたラベルを持つ環境変化下で,好意的な後悔を達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-11T17:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。