論文の概要: Semi-supervised Drifted Stream Learning with Short Lookback

• arxiv url: http://arxiv.org/abs/2205.13066v1
• Date: Wed, 25 May 2022 22:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:26:16.657623
• Title: Semi-supervised Drifted Stream Learning with Short Lookback
• Title（参考訳）: 短い振り返りによる半教師付きドリフトストリーム学習
• Authors: Weijieying Ren, Pengyang Wang, Xiaolin Li, Charles E. Hughes, Yanjie Fu
• Abstract要約: 本稿では,SDSLを解くための基本的で汎用的な世代再生フレームワークを提案する。 我々は、ラベル付きデータの教師付き知識を活用するために、新しい擬似ラベル分類モデルを開発した。 本稿では,フロートストリームにおけるアンチフォッゲッティング学習の課題を,短時間の振り返りで効果的に解決できることを示す。
• 参考スコア（独自算出の注目度）: 27.172618748579946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many scenarios, 1) data streams are generated in real time; 2) labeled data are expensive and only limited labels are available in the beginning; 3) real-world data is not always i.i.d. and data drift over time gradually; 4) the storage of historical streams is limited and model updating can only be achieved based on a very short lookback window. This learning setting limits the applicability and availability of many Machine Learning (ML) algorithms. We generalize the learning task under such setting as a semi-supervised drifted stream learning with short lookback problem (SDSL). SDSL imposes two under-addressed challenges on existing methods in semi-supervised learning, continuous learning, and domain adaptation: 1) robust pseudo-labeling under gradual shifts and 2) anti-forgetting adaptation with short lookback. To tackle these challenges, we propose a principled and generic generation-replay framework to solve SDSL. The framework is able to accomplish: 1) robust pseudo-labeling in the generation step; 2) anti-forgetting adaption in the replay step. To achieve robust pseudo-labeling, we develop a novel pseudo-label classification model to leverage supervised knowledge of previously labeled data, unsupervised knowledge of new data, and, structure knowledge of invariant label semantics. To achieve adaptive anti-forgetting model replay, we propose to view the anti-forgetting adaptation task as a flat region search problem. We propose a novel minimax game-based replay objective function to solve the flat region search problem and develop an effective optimization solver. Finally, we present extensive experiments to demonstrate our framework can effectively address the task of anti-forgetting learning in drifted streams with short lookback.
• Abstract（参考訳）: 多くのシナリオで 1) データストリームはリアルタイムで生成される。 2) ラベル付きデータは高価で,当初は限定ラベルのみ利用可能である。 3) 現実世界のデータは常にi.i.d.であるとは限らない。 4) 履歴ストリームの保存は制限されており、モデル更新は非常に短いルックバックウィンドウに基づいてのみ達成できる。 この学習設定は、多くの機械学習(ML)アルゴリズムの適用性と可用性を制限する。 本稿では,半教師付きドリフトストリーム学習をショートルックバック問題(sdsl)を用いて一般化する。 SDSLは、半教師付き学習、継続的学習、ドメイン適応における既存の手法に2つの未解決課題を課している。 1)段階的なシフトとロバストな擬似ラベル 2)短い振り返りによる偽造防止適応。 これらの課題に対処するために、SDSLを解くための原則的で汎用的な世代再生フレームワークを提案する。 フレームワークは、次のように達成できます。 1) 生成段階における堅牢な擬似ラベル 2)リプレイステップにおける反フォーゲティング適応。 そこで我々は,従来のラベル付きデータの教師付き知識,新しいデータの教師なし知識,不変ラベルセマンティクスの構造的知識を活用する,新しい擬似ラベル分類モデルを開発した。 適応型アンチフォーゲティングモデル再生を実現するために,このアンチフォーゲティング適応タスクを平坦な領域探索問題として捉えることを提案する。 フラット領域探索問題を解くために,新しいミニマックスゲームベースのリプレイ目的関数を提案し,効率的な最適化解法を開発した。 最後に,フロートストリームにおけるアンチフォッゲッティング学習の課題を,短時間の振り返りで効果的に解決できることを示す。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Towards Label-Efficient Incremental Learning: A Survey [42.603603392991715]
  本研究では,学習者が様々な分布を持つデータストリームに適応するために,インクリメンタル学習を学習する。 ラベル付け作業を減らすために, セミショット, 数ショット, 自己教師型学習の3つの区分を同定した。
  論文  参考訳（メタデータ） (2023-02-01T10:24:55Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• CLeaR: An Adaptive Continual Learning Framework for Regression Tasks [2.043835539102076]
  破滅的な忘れは、訓練されたニューラルネットワークモデルが、新しいタスクで再訓練されるときに、学習済みのタスクを徐々に忘れることを意味します。 多くの連続学習アルゴリズムは、分類タスクの漸進学習に非常に成功している。 本稿では,目標を予測し,継続学習によって自分自身を更新できる新しい方法論フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-04T12:41:45Z)
• Instance exploitation for learning temporary concepts from sparsely labeled drifting data streams [15.49323098362628]
  ストリーミングデータソースからの継続的な学習がますます人気を博している。 動的で絶え間ない問題に対処することは 新たな課題を引き起こします 最も重要な制限の1つは、有限で完全なデータセットにアクセスできないことである。
  論文  参考訳（メタデータ） (2020-09-20T08:11:43Z)
• Incremental Learning In Online Scenario [8.885829189810197]
  現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。 本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T02:24:26Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。