論文の概要: Efficient Continual Learning Ensembles in Neural Network Subspaces

• arxiv url: http://arxiv.org/abs/2202.09826v1
• Date: Sun, 20 Feb 2022 14:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-22 19:04:31.747662
• Title: Efficient Continual Learning Ensembles in Neural Network Subspaces
• Title（参考訳）: ニューラルネットワークサブ空間における効率的な連続学習アンサンブル
• Authors: Thang Doan, Seyed Iman Mirzadeh, Joelle Pineau, Mehrdad Farajtabar
• Abstract要約: そこで本研究では,アンサンブルモデルを用いることで,連続的な性能向上を図った。 我々は、計算的に有利であり、最先端の連続学習アルゴリズムより優れている新しい手法を導出する。
• 参考スコア（独自算出の注目度）: 57.491318168337756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, the training and inference cost of ensembles can increase linearly with the number of models. Motivated by this limitation, we leverage the recent advances in the deep learning optimization literature, such as mode connectivity and neural network subspaces, to derive a new method that is both computationally advantageous and can outperform the state-of-the-art continual learning algorithms.
• Abstract（参考訳）: 継続的な学習における研究は、破滅的な忘れの問題に焦点を当てている。 この問題を軽減するために多くの試みがなされているが、ほとんどの手法は連続的な学習設定において単一のモデルを想定している。 本稿では,この仮定に疑問を呈し,アンサンブルモデルの採用が,連続的パフォーマンスを改善するための単純かつ効果的な方法であることを示す。 しかし、アンサンブルのトレーニングと推論コストはモデル数とともに線形的に増加する可能性がある。 この制限により、モード接続やニューラルネットワーク部分空間といったディープラーニング最適化の文献の最近の進歩を活用し、計算的に有利であり、最先端の連続学習アルゴリズムより優れている新しい手法を導出する。

関連論文リスト

• A multifidelity approach to continual learning for physical systems [0.0]
  本稿では,多要素深層ニューラルネットワークに基づく連続学習手法を提案する。 本手法は,既存のトレーニングデータセット上で,事前学習したモデルの出力と所望のモデルの出力との相関関係を学習する。
  論文  参考訳（メタデータ） (2023-04-08T03:07:43Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Neural Architecture for Online Ensemble Continual Learning [3.9659135716762894]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• Cooperative data-driven modeling [62.997667081978825]
  メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
  論文  参考訳（メタデータ） (2022-11-23T14:27:25Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)
• Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
  本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。 提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
  論文  参考訳（メタデータ） (2020-03-23T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。