論文の概要: Improving Online Continual Learning Performance and Stability with Temporal Ensembles

• arxiv url: http://arxiv.org/abs/2306.16817v1
• Date: Thu, 29 Jun 2023 09:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:58:01.932565
• Title: Improving Online Continual Learning Performance and Stability with Temporal Ensembles
• Title（参考訳）: 時間的アンサンブルによるオンライン連続学習性能と安定性の向上
• Authors: Albin Soutif--Cormerais, Antonio Carta, Joost Van de Weijer
• Abstract要約: オンライン連続学習における性能と安定性向上のためのモデルアンサンブルの効果について検討する。 テスト時の重み(EMA)の指数移動平均を計算するために,軽量時間アンサンブルを用いる。
• 参考スコア（独自算出の注目度）: 30.869268130955145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are very effective when trained on large datasets for a large number of iterations. However, when they are trained on non-stationary streams of data and in an online fashion, their performance is reduced (1) by the online setup, which limits the availability of data, (2) due to catastrophic forgetting because of the non-stationary nature of the data. Furthermore, several recent works (Caccia et al., 2022; Lange et al., 2023) arXiv:2205.1345(2) showed that replay methods used in continual learning suffer from the stability gap, encountered when evaluating the model continually (rather than only on task boundaries). In this article, we study the effect of model ensembling as a way to improve performance and stability in online continual learning. We notice that naively ensembling models coming from a variety of training tasks increases the performance in online continual learning considerably. Starting from this observation, and drawing inspirations from semi-supervised learning ensembling methods, we use a lightweight temporal ensemble that computes the exponential moving average of the weights (EMA) at test time, and show that it can drastically increase the performance and stability when used in combination with several methods from the literature.
• Abstract（参考訳）: ニューラルネットワークは、大規模なデータセットで大量のイテレーションをトレーニングする場合、非常に効果的です。 しかし、非定常的なデータストリームでトレーニングされた場合、(1)データの可用性を制限するオンライン設定により、(2)データの非定常的な性質のために悲惨な忘れをし、その性能が低下する。 さらに、最近のいくつかの研究(Caccia et al., 2022; Lange et al., 2023) arXiv:2205.1345(2) は、連続学習で使用されるリプレイ法が、連続的にモデルを評価する際に遭遇する安定性のギャップに悩まされていることを示した。 本稿では,オンライン連続学習の性能と安定性向上のためのモデルアンサンブルの効果について検討する。 オンライン連続学習において,様々なトレーニングタスクから生み出すナレーション的アンサンブルモデルにより,性能が著しく向上していることに気付く。 この観察から,半教師付き学習アンサンブル法からインスピレーションを得た軽量の時間アンサンブルを用いて,実験時の重量(EMA)の指数移動平均を計算し,文献からのいくつかの手法と組み合わせることで,性能と安定性を劇的に向上させることができることを示す。

関連論文リスト

• Towards An Online Incremental Approach to Predict Students Performance [0.8287206589886879]
  本稿では,オンライン分類器を更新するためのメモリベースのオンラインインクリメンタル学習手法を提案する。 提案手法は,現在の最先端技術と比較して10%近く向上し,モデル精度の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-05-03T17:13:26Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Dissecting Continual Learning a Structural and Data Analysis [0.0]
  連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。 ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。 このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
  論文  参考訳（メタデータ） (2023-01-03T10:37:11Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Passive learning to address nonstationarity in virtual flow metering applications [0.0]
  本稿では,定常仮想フローメータの予測精度を維持するために,学習手法の適用方法について検討する。 周期的バッチ学習とオンライン学習という2つの受動的学習法を、様々なキャリブレーション周波数で応用し、仮想フローメーターを訓練する。 第1に、頻繁な到着測定が存在する場合、頻繁なモデル更新は、時間とともに優れた予測性能を保ち、第2に、間欠的かつ頻繁な到着測定が存在する場合、頻繁な更新は、性能の精度を高めるために不可欠である。
  論文  参考訳（メタデータ） (2022-02-07T14:42:00Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。