論文の概要: Adaptive Online Incremental Learning for Evolving Data Streams

• arxiv url: http://arxiv.org/abs/2201.01633v1
• Date: Wed, 5 Jan 2022 14:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 16:00:44.191263
• Title: Adaptive Online Incremental Learning for Evolving Data Streams
• Title（参考訳）: データストリーム進化のための適応型オンラインインクリメンタル学習
• Authors: Si-si Zhang, Jian-wei Liu, Xin Zuo
• Abstract要約: 最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。 第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。 我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
• 参考スコア（独自算出の注目度）: 4.3386084277869505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed growing interests in online incremental learning. However, there are three major challenges in this area. The first major difficulty is concept drift, that is, the probability distribution in the streaming data would change as the data arrives. The second major difficulty is catastrophic forgetting, that is, forgetting what we have learned before when learning new knowledge. The last one we often ignore is the learning of the latent representation. Only good latent representation can improve the prediction accuracy of the model. Our research builds on this observation and attempts to overcome these difficulties. To this end, we propose an Adaptive Online Incremental Learning for evolving data streams (AOIL). We use auto-encoder with the memory module, on the one hand, we obtained the latent features of the input, on the other hand, according to the reconstruction loss of the auto-encoder with memory module, we could successfully detect the existence of concept drift and trigger the update mechanism, adjust the model parameters in time. In addition, we divide features, which are derived from the activation of the hidden layers, into two parts, which are used to extract the common and private features respectively. By means of this approach, the model could learn the private features of the new coming instances, but do not forget what we have learned in the past (shared features), which reduces the occurrence of catastrophic forgetting. At the same time, to get the fusion feature vector we use the self-attention mechanism to effectively fuse the extracted features, which further improved the latent representation learning.
• Abstract（参考訳）: 近年、オンラインインクリメンタル学習への関心が高まっている。 しかし、この分野には3つの大きな課題がある。 最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。 第2の難題は、新しい知識を学ぶ際に私たちが学んだことを忘れてしまう壊滅的な難しさです。 私たちがよく無視する最後のものは、潜在表現の学習です。 優れた潜在表現だけがモデルの予測精度を向上させることができる。 我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。 そこで本研究では,進化するデータストリーム(aoil)のための適応型オンラインインクリメンタル学習を提案する。 一方、メモリモジュールを用いたオートエンコーダでは、メモリモジュールによるオートエンコーダの再構成損失により、メモリモジュールによるオートエンコーダの遅延特性が得られ、概念ドリフトの存在を検知し、更新機構を起動し、モデルパラメータを時間内に調整することができた。 さらに,隠れたレイヤの活性化から派生した特徴を,共通の特徴とプライベートな特徴をそれぞれ抽出するために使用される2つの部分に分割する。 このアプローチによって、モデルが新しいインスタンスのプライベート機能を学ぶことはできますが、私たちが過去に学んだこと(共有機能)を忘れないでください。 同時に、融合特徴ベクトルを得るために、自己認識機構を用いて抽出した特徴を効果的に融合させ、潜在表現学習をさらに改善する。

関連論文リスト

• T4P: Test-Time Training of Trajectory Prediction via Masked Autoencoder and Actor-specific Token Memory [39.021321011792786]
  軌道予測は、複数のアクター間の相互作用を考慮することを必要とする難しい問題である。 データ駆動型アプローチは、この複雑な問題に対処するために使われてきたが、テスト期間中に分散シフトの下では信頼性の低い予測に悩まされている。 本研究では,観測データから回帰損失を用いたオンライン学習手法を提案する。 提案手法は,予測精度と計算効率の両方の観点から,既存の最先端オンライン学習手法の性能を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-15T06:47:14Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
  ソフトウェア工学モデルに計算に基づく因果学習を導入する。 以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
  論文  参考訳（メタデータ） (2023-10-12T00:51:06Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation [62.458968086881555]
  連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。 CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-18T16:40:10Z)
• Online Deep Learning from Doubly-Streaming Data [17.119725174036653]
  本稿では,データストリームが常に進化する特徴空間によって記述される,二重ストリームデータによる新たなオンライン学習問題について検討する。 この課題を克服するもっともらしいアイデアは、進化する機能空間間の関係を確立することである。 従来の特徴空間と新しい特徴空間から情報を要約するために,共有潜在部分空間が発見された新しいOLD3Sパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-04-25T17:06:39Z)
• MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
  対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。 このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。 本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
  論文  参考訳（メタデータ） (2022-03-10T02:35:39Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。