論文の概要: Efficient Continual Learning Ensembles in Neural Network Subspaces
- arxiv url: http://arxiv.org/abs/2202.09826v1
- Date: Sun, 20 Feb 2022 14:30:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-22 19:04:31.747662
- Title: Efficient Continual Learning Ensembles in Neural Network Subspaces
- Title(参考訳): ニューラルネットワークサブ空間における効率的な連続学習アンサンブル
- Authors: Thang Doan, Seyed Iman Mirzadeh, Joelle Pineau, Mehrdad Farajtabar
- Abstract要約: そこで本研究では,アンサンブルモデルを用いることで,連続的な性能向上を図った。
我々は、計算的に有利であり、最先端の連続学習アルゴリズムより優れている新しい手法を導出する。
- 参考スコア(独自算出の注目度): 57.491318168337756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A growing body of research in continual learning focuses on the catastrophic
forgetting problem. While many attempts have been made to alleviate this
problem, the majority of the methods assume a single model in the continual
learning setup. In this work, we question this assumption and show that
employing ensemble models can be a simple yet effective method to improve
continual performance. However, the training and inference cost of ensembles
can increase linearly with the number of models. Motivated by this limitation,
we leverage the recent advances in the deep learning optimization literature,
such as mode connectivity and neural network subspaces, to derive a new method
that is both computationally advantageous and can outperform the
state-of-the-art continual learning algorithms.
- Abstract(参考訳): 継続的な学習における研究は、破滅的な忘れの問題に焦点を当てている。
この問題を軽減するために多くの試みがなされているが、ほとんどの手法は連続的な学習設定において単一のモデルを想定している。
本稿では,この仮定に疑問を呈し,アンサンブルモデルの採用が,連続的パフォーマンスを改善するための単純かつ効果的な方法であることを示す。
しかし、アンサンブルのトレーニングと推論コストはモデル数とともに線形的に増加する可能性がある。
この制限により、モード接続やニューラルネットワーク部分空間といったディープラーニング最適化の文献の最近の進歩を活用し、計算的に有利であり、最先端の連続学習アルゴリズムより優れている新しい手法を導出する。
関連論文リスト
- Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。
それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。
モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-31T08:19:44Z) - Enhanced Few-Shot Class-Incremental Learning via Ensemble Models [34.84881941101568]
クラス増分学習(class-incremental learning)は、新しいクラスを限られたトレーニングデータに継続的に適合させることを目的としている。
主な課題は、珍しい新しいトレーニングサンプルを過度に適合させ、古いクラスを忘れることである。
本稿では,データ拡張と協調して一般化を促進する新しいアンサンブルモデルフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-14T06:07:07Z) - Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - Model Breadcrumbs: Scaling Multi-Task Model Merging with Sparse Masks [14.349517221831364]
目標問題に対する一般的なアプローチは、特定の目標タスクに対して、訓練済みの基礎モデルを微調整することである。
本稿では,事前学習したモデルの重み空間内で軌跡を彫り出す,軽度に定義された重みの集合からなる,新しい単純な方法,Model Breadcrumbsを紹介する。
実験では,複数のタスクをまたいだ性能を同時に向上するモデルブレッドクラブの有効性を実証した。
論文 参考訳(メタデータ) (2023-12-11T19:10:55Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - An Empirical Investigation of the Role of Pre-training in Lifelong
Learning [21.995593026269578]
複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。
本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
論文 参考訳(メタデータ) (2021-12-16T19:00:55Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳(メタデータ) (2021-06-07T11:13:05Z) - Mutual Modality Learning for Video Action Classification [74.83718206963579]
ビデオアクション分類のための単一モデルにマルチモーダルを組み込む方法を示す。
我々はSomething-v2ベンチマークで最先端の結果を得た。
論文 参考訳(メタデータ) (2020-11-04T21:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。