論文の概要: Continual Learning with Dependency Preserving Hypernetworks

• arxiv url: http://arxiv.org/abs/2209.07712v1
• Date: Fri, 16 Sep 2022 04:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 12:06:58.950950
• Title: Continual Learning with Dependency Preserving Hypernetworks
• Title（参考訳）: ハイパーネットを用いた継続的学習
• Authors: Dupati Srikar Chandra, Sakshi Varshney, P.K. Srijith, Sunil Gupta
• Abstract要約: 継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。 本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。 さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
• 参考スコア（独自算出の注目度）: 14.102057320661427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans learn continually throughout their lifespan by accumulating diverse knowledge and fine-tuning it for future tasks. When presented with a similar goal, neural networks suffer from catastrophic forgetting if data distributions across sequential tasks are not stationary over the course of learning. An effective approach to address such continual learning (CL) problems is to use hypernetworks which generate task dependent weights for a target network. However, the continual learning performance of existing hypernetwork based approaches are affected by the assumption of independence of the weights across the layers in order to maintain parameter efficiency. To address this limitation, we propose a novel approach that uses a dependency preserving hypernetwork to generate weights for the target network while also maintaining the parameter efficiency. We propose to use recurrent neural network (RNN) based hypernetwork that can generate layer weights efficiently while allowing for dependencies across them. In addition, we propose novel regularisation and network growth techniques for the RNN based hypernetwork to further improve the continual learning performance. To demonstrate the effectiveness of the proposed methods, we conducted experiments on several image classification continual learning tasks and settings. We found that the proposed methods based on the RNN hypernetworks outperformed the baselines in all these CL settings and tasks.
• Abstract（参考訳）: 人間は、様々な知識を蓄積し、将来のタスクのために微調整することで、生涯を通して継続的に学習する。 同様の目標を提示すると、ニューラルネットワークは、シーケンシャルなタスクにまたがるデータ分布が学習の過程で静止していない場合、破滅的な忘れに苦しむ。 このような継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。 しかし、既存のハイパーネットワークに基づくアプローチの継続的な学習性能は、パラメータ効率を維持するために、層間の重みの独立性の仮定によって影響を受ける。 この制限に対処するため,パラメータ効率を維持しつつ,依存関係保存ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。 我々は、階層重みを効率的に生成し、それらの相互依存を可能にするリカレントニューラルネットワーク(RNN)ベースのハイパーネットワークを提案する。 さらに,RNNベースのハイパーネットワークのための新たな正規化とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。 提案手法の有効性を実証するために,複数の画像分類連続学習タスクと設定実験を行った。 RNNハイパーネットワークに基づく提案手法は,これらのCL設定やタスクのベースラインよりも優れていた。

関連論文リスト

• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network [1.4695979686066065]
  この研究は、一連のタスクの連続学習を堅牢に行うために、包括的に進歩的なベイズニューラルネットワークを提案する。 同様のタスクがすべてのタスクを公平に表現するために、同じ数のネットワークリソースを持つべきだという主張から始まります。 トレーニングの最後に冗長な重みは、その後のタスクで効率的に活用するために、再初期化によって刈り取られる。
  論文  参考訳（メタデータ） (2022-02-27T14:19:50Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• R-FORCE: Robust Learning for Random Recurrent Neural Networks [6.285241353736006]
  RRNNのロバスト性を高めるためのロバストトレーニング手法を提案する。 FORCE学習アプローチは、目標学習の課題にも適用可能であることが示された。 実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2020-03-25T22:08:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Residual Continual Learning [33.442903467864966]
  我々はResidual Continual Learning(ResCL)と呼ばれる新しい連続学習手法を提案する。 本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。 提案手法は,様々な連続学習シナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2020-02-17T05:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。