論文の概要: Kernel Continual Learning

• arxiv url: http://arxiv.org/abs/2107.05757v2
• Date: Wed, 14 Jul 2021 23:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 09:09:13.779309
• Title: Kernel Continual Learning
• Title（参考訳）: カーネル連続学習
• Authors: Mohammad Mahdi Derakhshani, Xiantong Zhen, Ling Shao, Cees G. M. Snoek
• Abstract要約: カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
• 参考スコア（独自算出の注目度）: 117.79080100313722
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper introduces kernel continual learning, a simple but effective variant of continual learning that leverages the non-parametric nature of kernel methods to tackle catastrophic forgetting. We deploy an episodic memory unit that stores a subset of samples for each task to learn task-specific classifiers based on kernel ridge regression. This does not require memory replay and systematically avoids task interference in the classifiers. We further introduce variational random features to learn a data-driven kernel for each task. To do so, we formulate kernel continual learning as a variational inference problem, where a random Fourier basis is incorporated as the latent variable. The variational posterior distribution over the random Fourier basis is inferred from the coreset of each task. In this way, we are able to generate more informative kernels specific to each task, and, more importantly, the coreset size can be reduced to achieve more compact memory, resulting in more efficient continual learning based on episodic memory. Extensive evaluation on four benchmarks demonstrates the effectiveness and promise of kernels for continual learning.
• Abstract（参考訳）: 本稿では,カーネル手法の非パラメトリックな性質を活用して,破滅的誤りに対処する,単純かつ効果的な連続学習法であるカーネル継続学習を紹介する。 タスク毎にサンプルのサブセットを格納したエピソディックメモリユニットをデプロイして,カーネルリッジ回帰に基づいてタスク固有の分類器を学習する。 これはメモリの再生を必要とせず、分類器のタスク干渉を体系的に回避する。 さらに,タスク毎にデータ駆動カーネルを学習するために,変動ランダムな特徴を導入する。 そこで我々はカーネル連続学習を変分推論問題として定式化し、ランダムなフーリエ基底を潜在変数として組み込む。 各タスクのコアセットからランダムなフーリエ基底上の変動後分布を推定する。 このようにして、各タスク固有のより情報的なカーネルを生成することができ、さらに重要なことは、コアセットのサイズを小さくすることで、よりコンパクトなメモリを実現し、エピソードメモリに基づくより効率的な連続学習を実現することができる。 4つのベンチマークの広範な評価は、継続的な学習におけるカーネルの有効性と期待を示している。

関連論文リスト

• Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels [5.1672267755831705]
  異なるデータセットに対するパラメータ推論の補正は、トレーニング時間を劇的に高速化するための有望なアプローチである。 本稿では,固定化されたカーネル構造ではなく,完全なカーネル構造ファミリ上でのカーネルパラメータのアモータイズを提案する。 大規模なカーネルとデータセットの競合テスト性能と合わせて,推論時間を大幅に短縮することを示す。
  論文  参考訳（メタデータ） (2023-06-16T13:02:57Z)
• RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
  RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。 提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。 私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
  論文  参考訳（メタデータ） (2022-11-11T18:50:34Z)
• Generative Kernel Continual learning [117.79080100313722]
  本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。 生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。 コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-12-26T16:02:10Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
  本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。 本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T05:46:56Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。