論文の概要: Continual Learning with Optimal Transport based Mixture Model
- arxiv url: http://arxiv.org/abs/2211.16780v1
- Date: Wed, 30 Nov 2022 06:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 16:03:18.998453
- Title: Continual Learning with Optimal Transport based Mixture Model
- Title（参考訳）: 最適輸送に基づく混合モデルによる連続学習
- Authors: Quyen Tran, Hoang Phan, Khoat Than, Dinh Phung, Trung Le
- Abstract要約: 成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。
提案手法は,現在の最先端のベースラインを大きく上回ることができる。
- 参考スコア（独自算出の注目度）: 17.398605698033656
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Online Class Incremental learning (CIL) is a challenging setting in Continual
Learning (CL), wherein data of new tasks arrive in incoming streams and online
learning models need to handle incoming data streams without revisiting
previous ones. Existing works used a single centroid adapted with incoming data
streams to characterize a class. This approach possibly exposes limitations
when the incoming data stream of a class is naturally multimodal. To address
this issue, in this work, we first propose an online mixture model learning
approach based on nice properties of the mature optimal transport theory
(OT-MM). Specifically, the centroids and covariance matrices of the mixture
model are adapted incrementally according to incoming data streams. The
advantages are two-fold: (i) we can characterize more accurately complex data
streams and (ii) by using centroids for each class produced by OT-MM, we can
estimate the similarity of an unseen example to each class more reasonably when
doing inference. Moreover, to combat the catastrophic forgetting in the CIL
scenario, we further propose Dynamic Preservation. Particularly, after
performing the dynamic preservation technique across data streams, the latent
representations of the classes in the old and new tasks become more condensed
themselves and more separate from each other. Together with a contraction
feature extractor, this technique facilitates the model in mitigating the
catastrophic forgetting. The experimental results on real-world datasets show
that our proposed method can significantly outperform the current
state-of-the-art baselines.
- Abstract（参考訳）: オンラインクラスインクリメンタル学習(cil: online class incremental learning)は、新しいタスクのデータが入ってくるストリームに到着し、オンライン学習モデルが入ってくるデータストリームを、以前のものを再検討することなく処理する必要がある、継続学習(continual learning:cl)において、難しい設定である。
既存の作業では、クラスを特徴付けるために、入ってくるデータストリームに適応した単一のcentroidを使用していた。
このアプローチは、クラスの入力データストリームが自然にマルチモーダルである場合に制限を公開する可能性がある。
そこで本研究では,成熟度最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。
特に、混合モデルのセントロイドと共分散行列は、入力データストリームに応じて漸進的に適応される。
利点は2つある。
(i)より正確に複雑なデータストリームを特徴付けることができる
(ii) ot-mm が生成する各クラスに対してcentroids を用いることにより、推論を行う際に、各クラスに対する見当たらない例の類似性をより合理的に推定することができる。
さらに,CILシナリオにおける破滅的な忘れと戦うために,動的保存を提案する。
特に、データストリーム間で動的保存技術を実行すると、古いタスクや新しいタスクにおけるクラスの潜在表現がより凝縮され、互いに分離するようになる。
収縮特徴抽出器とともに、この技術は破滅的忘れを緩和するモデルを促進する。
実世界のデータセットを用いた実験結果から,提案手法は現在の最先端のベースラインを大きく上回ることを示す。
関連論文リスト
- Continual Learning for Multimodal Data Fusion of a Soft Gripper [1.0589208420411014]
あるデータモダリティに基づいてトレーニングされたモデルは、異なるモダリティでテストした場合、しばしば失敗する。
異なるデータモダリティを漸進的に学習できる連続学習アルゴリズムを提案する。
我々は、アルゴリズムの有効性を、挑戦的なカスタムマルチモーダルデータセット上で評価する。
論文 参考訳（メタデータ） (2024-09-20T09:53:27Z) - Few-Shot Class-Incremental Learning with Non-IID Decentralized Data [12.472285188772544]
スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠だ。
本稿では、分散機械学習パラダイムであるフェデレートされた数発のクラスインクリメンタルラーニングを紹介する。
本稿では,リプレイバッファデータを利用して既存の知識を維持し,新たな知識の獲得を促進する合成データ駆動フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T02:48:36Z) - DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。
具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。
クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
論文 参考訳（メタデータ） (2024-06-03T07:22:17Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳（メタデータ） (2024-02-08T03:46:32Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - Lightweight Conditional Model Extrapolation for Streaming Data under
Class-Prior Shift [27.806085423595334]
非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。
我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。
Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
論文 参考訳（メタデータ） (2022-06-10T15:19:52Z) - Tackling Online One-Class Incremental Learning by Removing Negative
Contrasts [12.048166025000976]
他の連続的な学習設定とは違い、学習者は1回だけ新しいサンプルが提示される。
ER-AMLは、入力データと再生データにコントラスト学習に基づく非対称な損失を適用することにより、この設定で強い性能を達成した。
我々は、教師付き学習から教師付き学習環境へ、最近提案されたアプローチを適応させ、コントラストの制約を解き放つ。
論文 参考訳（メタデータ） (2022-03-24T19:17:29Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。