論文の概要: Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network

• arxiv url: http://arxiv.org/abs/2202.13369v1
• Date: Sun, 27 Feb 2022 14:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 10:28:09.926329
• Title: Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network
• Title（参考訳）: 包括的進行型ベイズニューラルネットワークによるロバスト連続学習
• Authors: Guo Yang, Cheryl Sze Yin Wong and Ramasamy Savitha
• Abstract要約: この研究は、一連のタスクの連続学習を堅牢に行うために、包括的に進歩的なベイズニューラルネットワークを提案する。 同様のタスクがすべてのタスクを公平に表現するために、同じ数のネットワークリソースを持つべきだという主張から始まります。 トレーニングの最後に冗長な重みは、その後のタスクで効率的に活用するために、再初期化によって刈り取られる。
• 参考スコア（独自算出の注目度）: 1.4695979686066065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work proposes a comprehensively progressive Bayesian neural network for robust continual learning of a sequence of tasks. A Bayesian neural network is progressively pruned and grown such that there are sufficient network resources to represent a sequence of tasks, while the network does not explode. It starts with the contention that similar tasks should have the same number of total network resources, to ensure fair representation of all tasks in a continual learning scenario. Thus, as the data for new task streams in, sufficient neurons are added to the network such that the total number of neurons in each layer of the network, including the shared representations with previous tasks and individual task related representation, are equal for all tasks. The weights that are redundant at the end of training each task are also pruned through re-initialization, in order to be efficiently utilized in the subsequent task. Thus, the network grows progressively, but ensures effective utilization of network resources. We refer to our proposed method as 'Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network (RCL-CPB)' and evaluate the proposed approach on the MNIST data set, under three different continual learning scenarios. Further to this, we evaluate the performance of RCL-CPB on a homogeneous sequence of tasks using split CIFAR100 (20 tasks of 5 classes each), and a heterogeneous sequence of tasks using MNIST, SVHN and CIFAR10 data sets. The demonstrations and the performance results show that the proposed strategies for progressive BNN enable robust continual learning.
• Abstract（参考訳）: 本研究では,タスク列のロバスト連続学習のための包括的プログレッシブベイズニューラルネットワークを提案する。 ベイズニューラルネットワークは、タスクのシーケンスを表すのに十分なネットワークリソースが存在するように、徐々に切断され、成長するが、ネットワークは爆発しない。 同様のタスクが、連続的な学習シナリオにおけるすべてのタスクの公平な表現を保証するために、ネットワークリソース総数と同じ数を持つべきだという主張から始まります。 したがって、新しいタスクストリームのデータとして、ネットワークの各層におけるニューロンの総数(前のタスクとの共有表現と個々のタスク関連表現を含む)が全てのタスクに対して等しいように、十分なニューロンをネットワークに追加する。 トレーニングの最後に冗長な重みは、その後のタスクで効率的に活用するために、再初期化によって刈り取られる。 このように、ネットワークは徐々に成長するが、ネットワークリソースの有効利用を保証する。 本稿では,提案手法を「総合的に進行するベイズニューラルネットワーク(RCL-CPB)によるRobust Continual Learning」と呼び,MNISTデータセットに対するアプローチを3つの連続学習シナリオで評価する。 さらに、分割したCIFAR100(5クラス20タスク)と、MNIST、SVHN、CIFAR10データセットを用いたタスクの不均質なタスク列を用いて、RCL-CPBの性能を評価する。 実演と実演の結果から,プログレッシブbnnのための提案手法により,堅牢な連続学習が可能となった。

関連論文リスト

• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
  本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。 タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:23Z)
• Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
  継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。 本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。 さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-09-16T04:42:21Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• PaRT: Parallel Learning Towards Robust and Transparent AI [4.160969852186451]
  本稿では,堅牢で透明なAIのための並列学習手法を提案する。 ディープニューラルネットワークは複数のタスクで並列にトレーニングされ、各タスクはネットワークリソースのサブセットでのみトレーニングされる。 ネットワークは、共有表現を通じて、他のタスクのタスクから学習した知識を実際に利用していることを示す。
  論文  参考訳（メタデータ） (2022-01-24T09:03:28Z)
• Training Networks in Null Space of Feature Covariance for Continual Learning [34.095874368589904]
  従来のタスクのヌルスペース内でネットワークパラメータを逐次最適化する新しいネットワークトレーニングアルゴリズムadam-nsclを提案する。 このアプローチを,cifar-100とtinyimagenetのベンチマークデータセット上での連続学習のためのトレーニングネットワークに適用する。
  論文  参考訳（メタデータ） (2021-03-12T07:21:48Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。