論文の概要: Continual learning via probabilistic exchangeable sequence modelling
- arxiv url: http://arxiv.org/abs/2503.20725v1
- Date: Wed, 26 Mar 2025 17:08:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 13:22:05.998662
- Title: Continual learning via probabilistic exchangeable sequence modelling
- Title（参考訳）: 確率的交換可能なシーケンスモデリングによる連続学習
- Authors: Hanwen Xing, Christopher Yau,
- Abstract要約: 継続的な学習 (CL) は、過去の経験から有用な情報を保持しながら、継続的に学習し、新しい知識を蓄積する能力である。
本稿では,スケーラブルでトラクタブルなベイズ更新と予測を行う確率的ニューラルプロセスに基づくCLモデルであるCL-Brunoを提案する。
- 参考スコア（独自算出の注目度）: 6.269118318460723
- License:
- Abstract: Continual learning (CL) refers to the ability to continuously learn and accumulate new knowledge while retaining useful information from past experiences. Although numerous CL methods have been proposed in recent years, it is not straightforward to deploy them directly to real-world decision-making problems due to their computational cost and lack of uncertainty quantification. To address these issues, we propose CL-BRUNO, a probabilistic, Neural Process-based CL model that performs scalable and tractable Bayesian update and prediction. Our proposed approach uses deep-generative models to create a unified probabilistic framework capable of handling different types of CL problems such as task- and class-incremental learning, allowing users to integrate information across different CL scenarios using a single model. Our approach is able to prevent catastrophic forgetting through distributional and functional regularisation without the need of retaining any previously seen samples, making it appealing to applications where data privacy or storage capacity is of concern. Experiments show that CL-BRUNO outperforms existing methods on both natural image and biomedical data sets, confirming its effectiveness in real-world applications.
- Abstract（参考訳）: 継続的な学習 (CL) は、過去の経験から有用な情報を保持しながら、継続的に学習し、新しい知識を蓄積する能力である。
近年、多くのCL法が提案されているが、計算コストと不確実性定量化の欠如により、現実の意思決定問題に直接展開することは容易ではない。
これらの問題に対処するため、我々は、スケーラブルでトラクタブルなベイズ更新と予測を行う確率論的ニューラルネットワークベースのCLモデルCL-BRUNOを提案する。
提案手法では,タスクやクラス増分学習など,さまざまなCL問題に対処し,複数のCLシナリオにまたがる情報を単一のモデルで統合する,統一的確率的フレームワークを構築するために,深部生成モデルを用いている。
当社のアプローチでは,これまで見てきたサンプルを保持することなく,分散的および機能的正規化を通じて破滅的な忘れを防止し,データプライバシやストレージ容量が懸念されるアプリケーションにアピールすることが可能です。
実験の結果、CL-BRUNOは自然画像と生体データの両方において既存の手法よりも優れており、実世界の応用においてその有効性が確認されている。
関連論文リスト
- Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Realistic Continual Learning Approach using Pre-trained Models [1.2582887633807602]
本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。
CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。
論文 参考訳（メタデータ） (2024-04-11T13:19:46Z) - CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。
タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
論文 参考訳（メタデータ） (2024-03-28T04:15:58Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - NPCL: Neural Processes for Uncertainty-Aware Continual Learning [26.642662729915234]
連続学習(CL)は、新しいタスクによる忘れを制限しながら、ストリーミングデータ上でディープニューラルネットワークを効率的にトレーニングすることを目的としている。
本稿では,異なるタスクを関数上の確率分布にエンコードするメタラーナーのクラスである,ニューラルプロセス(NP)を用いたCLタスクの処理を提案する。
論文 参考訳（メタデータ） (2023-10-30T05:10:00Z) - Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。
本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。
実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
論文 参考訳（メタデータ） (2023-07-27T17:48:29Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳（メタデータ） (2022-07-11T16:01:27Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z) - Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。
CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。
複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2020-08-12T06:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。