論文の概要: Online Adaptation to Label Distribution Shift
- arxiv url: http://arxiv.org/abs/2107.04520v1
- Date: Fri, 9 Jul 2021 16:12:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 17:36:30.975745
- Title: Online Adaptation to Label Distribution Shift
- Title(参考訳): ラベル分布シフトに対するオンライン適応
- Authors: Ruihan Wu, Chuan Guo, Yi Su, Kilian Q. Weinberger
- Abstract要約: 我々は、FTL(Follow The Leader)やOGD(Online Gradient Descent)といった古典的なオンライン学習手法にインスパイアされた適応アルゴリズムを提案する。
シミュレーションと実世界におけるラベルの分布変化の両面から得られた知見を実証的に検証し、OGDが様々な難解なラベルのシフトシナリオに対して特に効果的で堅牢であることを示す。
- 参考スコア(独自算出の注目度): 37.91472909652585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models often encounter distribution shifts when deployed in
the real world. In this paper, we focus on adaptation to label distribution
shift in the online setting, where the test-time label distribution is
continually changing and the model must dynamically adapt to it without
observing the true label. Leveraging a novel analysis, we show that the lack of
true label does not hinder estimation of the expected test loss, which enables
the reduction of online label shift adaptation to conventional online learning.
Informed by this observation, we propose adaptation algorithms inspired by
classical online learning techniques such as Follow The Leader (FTL) and Online
Gradient Descent (OGD) and derive their regret bounds. We empirically verify
our findings under both simulated and real world label distribution shifts and
show that OGD is particularly effective and robust to a variety of challenging
label shift scenarios.
- Abstract(参考訳): 機械学習モデルは、現実世界にデプロイすると、しばしば分散シフトに遭遇する。
本稿では,テストタイムラベルの分布が継続的に変化しているオンライン環境でのラベルの分布変化への適応に着目し,真のラベルを観察することなく動的に適応する必要がある。
そこで,本研究では,従来のオンライン学習へのオンラインラベルシフト適応の低減を図り,真のラベルの欠如が期待されるテスト損失の推定を妨げないことを示す。
そこで本研究では,従来の学習手法であるフォロー・ザ・リーダー (ftl) やオンライン勾配降下 (ogd) に触発された適応アルゴリズムを提案する。
我々はシミュレーションと実世界のラベルの分布変化の両方でこの発見を実証し、ogdが様々な挑戦的なラベルシフトシナリオに対して特に効果的で頑健であることを実証した。
関連論文リスト
- Online Feature Updates Improve Online (Generalized) Label Shift
Adaptation [54.3888105557787]
本稿では,ラベルを欠いたオンライン環境におけるラベルシフトの問題に対処する。
テスト時にラベルのないデータを用いて特徴表現を拡張できる未解決の可能性を探る。
オンライン特徴更新(OLS-OFU)を用いたオンラインラベルシフト適応手法は,自己教師付き学習を活用し,特徴抽出プロセスの洗練を図る。
論文 参考訳(メタデータ) (2024-02-05T22:03:25Z) - Label Shift Adapter for Test-Time Adaptation under Covariate and Label
Shifts [48.83127071288469]
テスト時間適応(TTA)は、推論中にバッチ・バイ・バッチ方式で、事前訓練されたモデルをターゲットドメインに適応することを目的としている。
これまでのほとんどのTTAアプローチは、ソースとターゲットのドメインのデータセットがバランスの取れたラベルの分布を持っていると仮定している。
本稿では,ラベルシフトを効果的に扱うために,既存のTTAアプローチに組み込む新しいラベルシフトアダプタを提案する。
論文 参考訳(メタデータ) (2023-08-17T06:37:37Z) - Flexible Distribution Alignment: Towards Long-tailed Semi-supervised
Learning with Proper Calibration [19.715262734192308]
Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。
この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。
本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
論文 参考訳(メタデータ) (2023-06-07T17:50:59Z) - Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms [33.61487362513345]
本稿では、教師付きおよび教師なしのオンラインラベルシフトに焦点を当て、クラス境界の$Q(y)$は異なるが、クラス条件の$Q(x|y)$は不変である。
教師なしの環境では、オフラインラベル付きデータに基づいてトレーニングされた学習者を、ラベルなしのオンラインデータに対してラベル分布を変更するように適応させることが目的です。
我々は,オンライン回帰への適応問題を低減し,ラベル分布のドリフトの程度を事前に知ることなく,最適な動的後悔を保証する新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-05-31T05:39:52Z) - Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
オンラインラベルシフトの問題を定式化し,検討する。
非定常性と監督の欠如は、この問題に取り組むことを困難にしている。
我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
論文 参考訳(メタデータ) (2022-07-05T15:43:14Z) - Online Continual Adaptation with Active Self-Training [69.5815645379945]
本研究では,ラベルなしサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が変化に継続的に適応することを目的としたオンライン環境を提案する。
Online Self-Adaptive Mirror Descent (OSAMD)は、未ラベルのデータからオンラインの自己学習を可能にするオンライン教師学生構造を採用している。
我々は,OSAMDが実世界とシミュレーションデータの両方に限定されたラベルを持つ環境変化下で,好意的な後悔を達成していることを示す。
論文 参考訳(メタデータ) (2021-06-11T17:51:25Z) - Long-tail learning via logit adjustment [67.47668112425225]
現実世界の分類問題は通常、不均衡または長い尾のラベルの分布を示す。
これは、そのようなラベルを一般化する上での課題であり、また、支配的なラベルに偏った「学習」をもたらさせる。
これらの課題に対処するために、標準的なソフトマックスクロスエントロピートレーニングの2つの簡単な修正を提案する。
論文 参考訳(メタデータ) (2020-07-14T19:27:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。