論文の概要: Class-Incremental Mixture of Gaussians for Deep Continual Learning
- arxiv url: http://arxiv.org/abs/2307.04094v1
- Date: Sun, 9 Jul 2023 04:33:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 15:28:33.041932
- Title: Class-Incremental Mixture of Gaussians for Deep Continual Learning
- Title（参考訳）: 深層連続学習のためのクラス・インクリメンタル混合ガウス
- Authors: Lukasz Korycki, Bartosz Krawczyk
- Abstract要約: 本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。
固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
- 参考スコア（独自算出の注目度）: 15.49323098362628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning models for stationary data focus on learning and retaining
concepts coming to them in a sequential manner. In the most generic
class-incremental environment, we have to be ready to deal with classes coming
one by one, without any higher-level grouping. This requirement invalidates
many previously proposed methods and forces researchers to look for more
flexible alternative approaches. In this work, we follow the idea of
centroid-driven methods and propose end-to-end incorporation of the mixture of
Gaussians model into the continual learning framework. By employing the
gradient-based approach and designing losses capable of learning discriminative
features while avoiding degenerate solutions, we successfully combine the
mixture model with a deep feature extractor allowing for joint optimization and
adjustments in the latent space. Additionally, we show that our model can
effectively learn in memory-free scenarios with fixed extractors. In the
conducted experiments, we empirically demonstrate the effectiveness of the
proposed solutions and exhibit the competitiveness of our model when compared
with state-of-the-art continual learning baselines evaluated in the context of
image classification problems.
- Abstract（参考訳）: 定常データに対する継続的な学習モデルは、それらに連続的に来る概念の学習と保持に焦点を当てる。
最も一般的なクラスインクリメンタルな環境では、高レベルのグループ化なしに、クラスをひとつずつ扱う準備ができている必要があります。
この要件は、これまで提案されていた多くの手法を無効にし、研究者により柔軟な代替アプローチを探さざるを得ない。
本研究では,遠心駆動型手法の考え方に従い,ガウスモデルの混合を連続学習フレームワークに組み入れることを提案する。
解の退化を回避しながら識別的特徴を学習できる勾配に基づくアプローチと設計損失を利用することで,混合モデルと深部特徴抽出器を組み合わせ,潜在空間における共同最適化と調整を実現した。
さらに,固定抽出器を用いてメモリフリーシナリオで効果的に学習できることを示す。
実験では,提案手法の有効性を実証的に実証し,画像分類問題の文脈で評価された最先端の連続学習ベースラインと比較した場合のモデルの競争力を示す。
関連論文リスト
- EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。
アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。
我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。
我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
論文 参考訳（メタデータ） (2024-10-30T12:16:35Z) - A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。
この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。
我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
論文 参考訳（メタデータ） (2024-06-03T17:55:02Z) - GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳（メタデータ） (2024-04-14T01:51:11Z) - A Bayesian Unification of Self-Supervised Clustering and Energy-Based
Models [11.007541337967027]
我々は、最先端の自己教師型学習目標のベイズ分析を行う。
目的関数が既存の自己教師型学習戦略より優れていることを示す。
また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
論文 参考訳（メタデータ） (2023-12-30T04:46:16Z) - Learning Interpretable Deep Disentangled Neural Networks for
Hyperspectral Unmixing [16.02193274044797]
非線形性および終端変動を考慮した高スペクトルアンミックスのための新しい解釈可能な深層学習法を提案する。
モデルは、バックプロパゲーションを使用してエンドツーエンドに学習され、セルフ教師付き戦略を使用してトレーニングされる。
合成および実データを用いた実験結果から,提案手法の性能が示唆された。
論文 参考訳（メタデータ） (2023-10-03T18:21:37Z) - Tensor Decompositions Meet Control Theory: Learning General Mixtures of
Linear Dynamical Systems [19.47235707806519]
テンソル分解に基づく線形力学系の混合を学習するための新しいアプローチを提案する。
このアルゴリズムは, 成分の分離条件が強くないまま成功し, 軌道のベイズ最適クラスタリングと競合することができる。
論文 参考訳（メタデータ） (2023-07-13T03:00:01Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳（メタデータ） (2022-05-20T07:02:03Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。