論文の概要: Online Continual Adaptation with Active Self-Training
- arxiv url: http://arxiv.org/abs/2106.06526v1
- Date: Fri, 11 Jun 2021 17:51:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:36:56.451311
- Title: Online Continual Adaptation with Active Self-Training
- Title（参考訳）: アクティブセルフトレーニングによるオンライン連続適応
- Authors: Shiji Zhou, Han Zhao, Shanghang Zhang, Lianzhe Wang, Heng Chang, Zhi
Wang, Wenwu Zhu
- Abstract要約: 本研究では,ラベルなしサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が変化に継続的に適応することを目的としたオンライン環境を提案する。
Online Self-Adaptive Mirror Descent (OSAMD)は、未ラベルのデータからオンラインの自己学習を可能にするオンライン教師学生構造を採用している。
我々は,OSAMDが実世界とシミュレーションデータの両方に限定されたラベルを持つ環境変化下で,好意的な後悔を達成していることを示す。
- 参考スコア（独自算出の注目度）: 69.5815645379945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Models trained with offline data often suffer from continual distribution
shifts and expensive labeling in changing environments. This calls for a new
online learning paradigm where the learner can continually adapt to changing
environments with limited labels. In this paper, we propose a new online
setting -- Online Active Continual Adaptation, where the learner aims to
continually adapt to changing distributions using both unlabeled samples and
active queries of limited labels. To this end, we propose Online Self-Adaptive
Mirror Descent (OSAMD), which adopts an online teacher-student structure to
enable online self-training from unlabeled data, and a margin-based criterion
that decides whether to query the labels to track changing distributions.
Theoretically, we show that, in the separable case, OSAMD has an $O({T}^{1/2})$
dynamic regret bound under mild assumptions, which is even tighter than the
lower bound $\Omega(T^{2/3})$ of traditional online learning with full labels.
In the general case, we show a regret bound of $O({\alpha^*}^{1/3} {T}^{2/3} +
\alpha^* T)$, where $\alpha^*$ denotes the separability of domains and is
usually small. Our theoretical results show that OSAMD can fast adapt to
changing environments with active queries. Empirically, we demonstrate that
OSAMD achieves favorable regrets under changing environments with limited
labels on both simulated and real-world data, which corroborates our
theoretical findings.
- Abstract（参考訳）: オフラインデータでトレーニングされたモデルは、環境の変化による継続的な分散シフトや高価なラベル付けに悩まされることが多い。
これにより、学習者がラベルの制限のある環境変化に継続的に適応できる、新しいオンライン学習パラダイムが求められる。
本稿では,未ラベルのサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が分散の変化に継続的に適応することを目的として,新しいオンライン環境であるオンラインアクティブ連続適応を提案する。
この目的のために,オンライン教師学習構造を採用し,ラベルのないデータからオンライン自己学習を可能にするオンライン自己適応ミラードライザー(OSAMD)と,ラベルを問合せして分布の変化を追跡するかを決定するマージンベースの基準を提案する。
理論的には、分離可能な場合、OSAMDは、穏やかな仮定の下で束縛された$O({T}^{1/2})$動的後悔を持ち、フルラベルを持つ伝統的なオンライン学習の下位境界$\Omega(T^{2/3})$よりもさらに厳密である。
一般の場合、後悔の束縛は$o({\alpha^*}^{1/3} {t}^{2/3} + \alpha^* t)$であり、ここで$\alpha^*$ は領域の分離可能性を表し、通常は小さい。
我々の理論的結果は、OSAMDがアクティブクエリで変化する環境に迅速に適応できることを示している。
実証的に,osamdはシミュレーションデータと実世界のデータの両方に限定ラベルを付けて,環境の変化に対して好意的な後悔を得られることを実証し,理論的な知見を裏付ける。
関連論文リスト
- COMET: Contrastive Mean Teacher for Online Source-Free Universal Domain Adaptation [3.5139431332194198]
現実世界のアプリケーションでは、トレーニングからテストデータへのドメインシフトが頻繁に発生します。
本稿では,このシナリオに合わせたコントラスト的平均教師(COMET)を紹介する。
COMETは最先端のパフォーマンスをもたらし、さまざまなシナリオで一貫性と堅牢性を示す。
論文 参考訳（メタデータ） (2024-01-31T10:47:25Z) - Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization [52.03927261909813]
既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。
我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。
TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
論文 参考訳（メタデータ） (2023-09-26T14:06:26Z) - Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms [33.61487362513345]
本稿では、教師付きおよび教師なしのオンラインラベルシフトに焦点を当て、クラス境界の$Q(y)$は異なるが、クラス条件の$Q(x|y)$は不変である。
教師なしの環境では、オフラインラベル付きデータに基づいてトレーニングされた学習者を、ラベルなしのオンラインデータに対してラベル分布を変更するように適応させることが目的です。
我々は,オンライン回帰への適応問題を低減し,ラベル分布のドリフトの程度を事前に知ることなく,最適な動的後悔を保証する新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-31T05:39:52Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
オンラインラベルシフトの問題を定式化し,検討する。
非定常性と監督の欠如は、この問題に取り組むことを困難にしている。
我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
論文 参考訳（メタデータ） (2022-07-05T15:43:14Z) - Active learning for online training in imbalanced data streams under
cold start [0.8155575318208631]
本稿では,クラス不均衡の桁数を持つデータセットに対するアクティブラーニング(AL)アノテーションシステムを提案する。
本稿では,計算効率のよい Outlier-based Discriminative AL approach (ODAL) を提案する。
その結果,提案手法は標準ALポリシーよりも高速に高性能なモデルに到達できることが示唆された。
論文 参考訳（メタデータ） (2021-07-16T06:49:20Z) - Online Adaptation to Label Distribution Shift [37.91472909652585]
我々は、FTL(Follow The Leader)やOGD(Online Gradient Descent)といった古典的なオンライン学習手法にインスパイアされた適応アルゴリズムを提案する。
シミュレーションと実世界におけるラベルの分布変化の両面から得られた知見を実証的に検証し、OGDが様々な難解なラベルのシフトシナリオに対して特に効果的で堅牢であることを示す。
論文 参考訳（メタデータ） (2021-07-09T16:12:19Z) - Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。
最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。
疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
論文 参考訳（メタデータ） (2021-03-23T07:57:39Z) - Active Online Learning with Hidden Shifting Domains [64.75186088512034]
本稿では,その後悔度とラベルクエリ数とを適応的にバランスさせる,驚くほど単純なアルゴリズムを提案する。
我々のアルゴリズムは、異なる領域からの入力のインターリービングスパンを適応的に処理できる。
論文 参考訳（メタデータ） (2020-06-25T15:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。