論文の概要: Continual learning using hash-routed convolutional neural networks
- arxiv url: http://arxiv.org/abs/2010.05880v1
- Date: Fri, 9 Oct 2020 07:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 04:39:03.229485
- Title: Continual learning using hash-routed convolutional neural networks
- Title（参考訳）: ハッシュロート畳み込みニューラルネットワークを用いた連続学習
- Authors: Ahmad Berjaoui
- Abstract要約: 継続的な学習は、機械学習のパラダイムをデータ中心からモデル中心へとシフトさせる可能性がある。
我々は、データを動的に流れる畳み込みユニットのグループである、ハッシュロート畳み込みニューラルネットワークを導入する。
ハッシュロートネットワークは、様々な典型的な連続学習ベンチマークにおいて優れた性能を発揮する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning could shift the machine learning paradigm from data
centric to model centric. A continual learning model needs to scale efficiently
to handle semantically different datasets, while avoiding unnecessary growth.
We introduce hash-routed convolutional neural networks: a group of
convolutional units where data flows dynamically. Feature maps are compared
using feature hashing and similar data is routed to the same units. A
hash-routed network provides excellent plasticity thanks to its routed nature,
while generating stable features through the use of orthogonal feature hashing.
Each unit evolves separately and new units can be added (to be used only when
necessary). Hash-routed networks achieve excellent performance across a variety
of typical continual learning benchmarks without storing raw data and train
using only gradient descent. Besides providing a continual learning framework
for supervised tasks with encouraging results, our model can be used for
unsupervised or reinforcement learning.
- Abstract（参考訳）: 継続的な学習は、機械学習パラダイムをデータ中心からモデル中心へとシフトさせる可能性がある。
継続的学習モデルは、不要な成長を避けながら、意味的に異なるデータセットを扱うために効率的にスケールする必要がある。
本稿では,データを動的に流れる畳み込み単位群であるハッシュ型畳み込みニューラルネットワークを提案する。
特徴マップを特徴ハッシュを用いて比較し、類似したデータを同じユニットにルーティングする。
ハッシュロートネットワークは、経路特性により優れた塑性を提供し、直交的特徴ハッシュを用いて安定した特徴を生成する。
各ユニットは別々に進化し、新しいユニットを追加できる(必要に応じてのみ使用できる)。
ハッシュロートネットワークは、生データを保存せず、勾配降下のみを用いて訓練することなく、様々な典型的な連続学習ベンチマークで優れた性能を発揮する。
その結果を奨励する教師付きタスクのための継続的学習フレームワークの提供に加えて,教師なし学習や強化学習にも利用できる。
関連論文リスト
- Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。
ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
論文 参考訳（メタデータ） (2024-05-29T04:53:31Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳（メタデータ） (2023-05-28T05:38:28Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳（メタデータ） (2023-03-18T16:45:54Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳（メタデータ） (2021-01-17T18:28:23Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳（メタデータ） (2020-10-23T11:18:20Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。