論文の概要: Streaming LifeLong Learning With Any-Time Inference
- arxiv url: http://arxiv.org/abs/2301.11892v1
- Date: Fri, 27 Jan 2023 18:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 14:43:06.012849
- Title: Streaming LifeLong Learning With Any-Time Inference
- Title（参考訳）: リアルタイム推論による生涯学習のストリーミング
- Authors: Soumya Banerjee, Vinay Kumar Verma, Vinay P. Namboodiri
- Abstract要約: 本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。
また,スナップショット自己蒸留方式の暗黙正則化器を提案する。
我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
- 参考スコア（独自算出の注目度）: 36.3326483579511
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite rapid advancements in lifelong learning (LLL) research, a large body
of research mainly focuses on improving the performance in the existing
\textit{static} continual learning (CL) setups. These methods lack the ability
to succeed in a rapidly changing \textit{dynamic} environment, where an AI
agent needs to quickly learn new instances in a `single pass' from the
non-i.i.d (also possibly temporally contiguous/coherent) data streams without
suffering from catastrophic forgetting. For practical applicability, we propose
a novel lifelong learning approach, which is streaming, i.e., a single input
sample arrives in each time step, single pass, class-incremental, and subject
to be evaluated at any moment. To address this challenging setup and various
evaluation protocols, we propose a Bayesian framework, that enables fast
parameter update, given a single training example, and enables any-time
inference. We additionally propose an implicit regularizer in the form of
snap-shot self-distillation, which effectively minimizes the forgetting
further. We further propose an effective method that efficiently selects a
subset of samples for online memory rehearsal and employs a new replay buffer
management scheme that significantly boosts the overall performance. Our
empirical evaluations and ablations demonstrate that the proposed method
outperforms the prior works by large margins.
- Abstract（参考訳）: 生涯学習(lll)研究の急速な進歩にもかかわらず、多くの研究は、既存の \textit{static} continual learning(cl)設定のパフォーマンス向上に重点を置いている。
これらの方法は急速に変化する \textit{dynamic} 環境では成功できないため、aiエージェントは破壊的な忘れることなく、非i.i.dデータストリームから'シングルパス'で新しいインスタンスをすばやく学習する必要がある。
実践的な適用性のために,ストリーミング中の新しい生涯学習手法を提案する。すなわち,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象となる。
この困難なセットアップと様々な評価プロトコルに対処するために、我々は、単一のトレーニング例を与えられた高速なパラメータ更新を可能にし、いつでも推論を可能にするベイズフレームワークを提案する。
さらに,スナップショット自己蒸留という形で暗黙的正則化器を提案する。
さらに,オンラインメモリリハーサルのためのサンプルのサブセットを効率的に選択し,全体的な性能を著しく向上させる新しいリプレイバッファ管理手法を提案する。
我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
関連論文リスト
- Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration [31.50005609235654]
本研究は,無訓練トークン還元研究の現況を再考する。
トークン還元を3つの異なる段階に分解する「フィルタ相関圧縮」パラダイムを提案する。
10のベンチマークでの実験結果から,本手法は最大82.4%のFLOP削減が可能であることが示唆された。
論文 参考訳（メタデータ） (2024-11-26T18:53:51Z) - Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。
本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-05T05:19:09Z) - Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning [10.299813904573695]
分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
論文 参考訳（メタデータ） (2024-02-06T16:31:11Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime
Inference [36.61783715563126]
生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。
ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。
本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
論文 参考訳（メタデータ） (2023-09-15T07:54:49Z) - Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。
特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-24T16:47:17Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳（メタデータ） (2023-02-02T12:21:10Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳（メタデータ） (2021-10-20T19:24:31Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳（メタデータ） (2021-08-15T15:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。