論文の概要: Streaming LifeLong Learning With Any-Time Inference
- arxiv url: http://arxiv.org/abs/2301.11892v1
- Date: Fri, 27 Jan 2023 18:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 14:43:06.012849
- Title: Streaming LifeLong Learning With Any-Time Inference
- Title(参考訳): リアルタイム推論による生涯学習のストリーミング
- Authors: Soumya Banerjee, Vinay Kumar Verma, Vinay P. Namboodiri
- Abstract要約: 本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。
また,スナップショット自己蒸留方式の暗黙正則化器を提案する。
我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
- 参考スコア(独自算出の注目度): 36.3326483579511
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite rapid advancements in lifelong learning (LLL) research, a large body
of research mainly focuses on improving the performance in the existing
\textit{static} continual learning (CL) setups. These methods lack the ability
to succeed in a rapidly changing \textit{dynamic} environment, where an AI
agent needs to quickly learn new instances in a `single pass' from the
non-i.i.d (also possibly temporally contiguous/coherent) data streams without
suffering from catastrophic forgetting. For practical applicability, we propose
a novel lifelong learning approach, which is streaming, i.e., a single input
sample arrives in each time step, single pass, class-incremental, and subject
to be evaluated at any moment. To address this challenging setup and various
evaluation protocols, we propose a Bayesian framework, that enables fast
parameter update, given a single training example, and enables any-time
inference. We additionally propose an implicit regularizer in the form of
snap-shot self-distillation, which effectively minimizes the forgetting
further. We further propose an effective method that efficiently selects a
subset of samples for online memory rehearsal and employs a new replay buffer
management scheme that significantly boosts the overall performance. Our
empirical evaluations and ablations demonstrate that the proposed method
outperforms the prior works by large margins.
- Abstract(参考訳): 生涯学習(lll)研究の急速な進歩にもかかわらず、多くの研究は、既存の \textit{static} continual learning(cl)設定のパフォーマンス向上に重点を置いている。
これらの方法は急速に変化する \textit{dynamic} 環境では成功できないため、aiエージェントは破壊的な忘れることなく、非i.i.dデータストリームから'シングルパス'で新しいインスタンスをすばやく学習する必要がある。
実践的な適用性のために,ストリーミング中の新しい生涯学習手法を提案する。すなわち,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象となる。
この困難なセットアップと様々な評価プロトコルに対処するために、我々は、単一のトレーニング例を与えられた高速なパラメータ更新を可能にし、いつでも推論を可能にするベイズフレームワークを提案する。
さらに,スナップショット自己蒸留という形で暗黙的正則化器を提案する。
さらに,オンラインメモリリハーサルのためのサンプルのサブセットを効率的に選択し,全体的な性能を著しく向上させる新しいリプレイバッファ管理手法を提案する。
我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
関連論文リスト
- OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning [10.299813904573695]
分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2024-02-06T16:31:11Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime
Inference [36.61783715563126]
生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。
ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。
本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
論文 参考訳(メタデータ) (2023-09-15T07:54:49Z) - Towards Realistic Unsupervised Fine-tuning with CLIP [108.45391206730402]
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的な微調整手法を提案する。
UEOはサンプルレベルの信頼を利用して、信頼性の低いインスタンスの条件エントロピーを最小化し、信頼性の低いインスタンスの限界エントロピーを最大化する。
UEOは一般化とアウト・オブ・ディストリビューション検出の両方の観点から,ベースライン法を超越していることを示す。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳(メタデータ) (2021-12-16T06:17:07Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳(メタデータ) (2021-10-20T19:24:31Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳(メタデータ) (2021-08-28T07:54:53Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。