論文の概要: Online Adaptation to Label Distribution Shift

• arxiv url: http://arxiv.org/abs/2107.04520v1
• Date: Fri, 9 Jul 2021 16:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 17:36:30.975745
• Title: Online Adaptation to Label Distribution Shift
• Title（参考訳）: ラベル分布シフトに対するオンライン適応
• Authors: Ruihan Wu, Chuan Guo, Yi Su, Kilian Q. Weinberger
• Abstract要約: 我々は、FTL(Follow The Leader)やOGD(Online Gradient Descent)といった古典的なオンライン学習手法にインスパイアされた適応アルゴリズムを提案する。 シミュレーションと実世界におけるラベルの分布変化の両面から得られた知見を実証的に検証し、OGDが様々な難解なラベルのシフトシナリオに対して特に効果的で堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 37.91472909652585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models often encounter distribution shifts when deployed in the real world. In this paper, we focus on adaptation to label distribution shift in the online setting, where the test-time label distribution is continually changing and the model must dynamically adapt to it without observing the true label. Leveraging a novel analysis, we show that the lack of true label does not hinder estimation of the expected test loss, which enables the reduction of online label shift adaptation to conventional online learning. Informed by this observation, we propose adaptation algorithms inspired by classical online learning techniques such as Follow The Leader (FTL) and Online Gradient Descent (OGD) and derive their regret bounds. We empirically verify our findings under both simulated and real world label distribution shifts and show that OGD is particularly effective and robust to a variety of challenging label shift scenarios.
• Abstract（参考訳）: 機械学習モデルは、現実世界にデプロイすると、しばしば分散シフトに遭遇する。 本稿では,テストタイムラベルの分布が継続的に変化しているオンライン環境でのラベルの分布変化への適応に着目し,真のラベルを観察することなく動的に適応する必要がある。 そこで,本研究では,従来のオンライン学習へのオンラインラベルシフト適応の低減を図り,真のラベルの欠如が期待されるテスト損失の推定を妨げないことを示す。 そこで本研究では,従来の学習手法であるフォロー・ザ・リーダー (ftl) やオンライン勾配降下 (ogd) に触発された適応アルゴリズムを提案する。 我々はシミュレーションと実世界のラベルの分布変化の両方でこの発見を実証し、ogdが様々な挑戦的なラベルシフトシナリオに対して特に効果的で頑健であることを実証した。

関連論文リスト

• Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture [21.494268411607766]
  ADM(Aligned Distribution Mixture)という名称の革新的なラベルシフトフレームワークを提案する。 本フレームワークでは,分類器学習プロセスに修正を加えることで,4つの典型的なラベルシフト手法を改良する。 提案手法の特異性を考慮し,効率的な二段階最適化戦略を開発する。
  論文  参考訳（メタデータ） (2024-11-04T12:51:57Z)
• Online Feature Updates Improve Online (Generalized) Label Shift Adaptation [51.328801874640675]
  オンライン特徴更新を用いたオンラインラベルシフト適応法(OLS-OFU)は,自己教師付き学習を利用して特徴抽出プロセスを洗練する。 アルゴリズムを慎重に設計することで、OLS-OFUは改善された特徴を考慮しつつ、文献の結果に類似したオンライン後悔の収束を維持している。
  論文  参考訳（メタデータ） (2024-02-05T22:03:25Z)
• Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts [48.83127071288469]
  テスト時間適応(TTA)は、推論中にバッチ・バイ・バッチ方式で、事前訓練されたモデルをターゲットドメインに適応することを目的としている。 これまでのほとんどのTTAアプローチは、ソースとターゲットのドメインのデータセットがバランスの取れたラベルの分布を持っていると仮定している。 本稿では,ラベルシフトを効果的に扱うために,既存のTTAアプローチに組み込む新しいラベルシフトアダプタを提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:37:37Z)
• Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms [33.61487362513345]
  本稿では、教師付きおよび教師なしのオンラインラベルシフトに焦点を当て、クラス境界の$Q(y)$は異なるが、クラス条件の$Q(x|y)$は不変である。 教師なしの環境では、オフラインラベル付きデータに基づいてトレーニングされた学習者を、ラベルなしのオンラインデータに対してラベル分布を変更するように適応させることが目的です。 我々は,オンライン回帰への適応問題を低減し,ラベル分布のドリフトの程度を事前に知ることなく,最適な動的後悔を保証する新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-31T05:39:52Z)
• Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
  オンラインラベルシフトの問題を定式化し,検討する。 非定常性と監督の欠如は、この問題に取り組むことを困難にしている。 我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
  論文  参考訳（メタデータ） (2022-07-05T15:43:14Z)
• Online Continual Adaptation with Active Self-Training [69.5815645379945]
  本研究では,ラベルなしサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が変化に継続的に適応することを目的としたオンライン環境を提案する。 Online Self-Adaptive Mirror Descent (OSAMD)は、未ラベルのデータからオンラインの自己学習を可能にするオンライン教師学生構造を採用している。 我々は,OSAMDが実世界とシミュレーションデータの両方に限定されたラベルを持つ環境変化下で,好意的な後悔を達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-11T17:51:25Z)
• Long-tail learning via logit adjustment [67.47668112425225]
  現実世界の分類問題は通常、不均衡または長い尾のラベルの分布を示す。 これは、そのようなラベルを一般化する上での課題であり、また、支配的なラベルに偏った「学習」をもたらさせる。 これらの課題に対処するために、標準的なソフトマックスクロスエントロピートレーニングの2つの簡単な修正を提案する。
  論文  参考訳（メタデータ） (2020-07-14T19:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。