Fugu-MT 論文翻訳(概要): Residual Continual Learning

論文の概要: Residual Continual Learning

arxiv url: http://arxiv.org/abs/2002.06774v1
Date: Mon, 17 Feb 2020 05:24:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-31 11:59:07.005795
Title: Residual Continual Learning
Title（参考訳）: 残留継続学習
Authors: Janghyeon Lee, Donggyu Joo, Hyeong Gwon Hong, Junmo Kim
Abstract要約: 我々はResidual Continual Learning(ResCL)と呼ばれる新しい連続学習手法を提案する。本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。提案手法は,様々な連続学習シナリオにおける最先端性能を示す。
参考スコア（独自算出の注目度）: 33.442903467864966
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel continual learning method called Residual Continual Learning (ResCL). Our method can prevent the catastrophic forgetting phenomenon in sequential learning of multiple tasks, without any source task information except the original network. ResCL reparameterizes network parameters by linearly combining each layer of the original network and a fine-tuned network; therefore, the size of the network does not increase at all. To apply the proposed method to general convolutional neural networks, the effects of batch normalization layers are also considered. By utilizing residual-learning-like reparameterization and a special weight decay loss, the trade-off between source and target performance is effectively controlled. The proposed method exhibits state-of-the-art performance in various continual learning scenarios.
Abstract（参考訳）: 本稿では,Residual Continual Learning (ResCL) と呼ばれる新しい連続学習手法を提案する。本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。 ResCLは、元のネットワークの各層と細調整されたネットワークを線形に結合することで、ネットワークパラメータを再パラメータ化する。提案手法を一般畳み込みニューラルネットワークに適用するには,バッチ正規化層の効果も考慮される。残差学習のような再パラメータ化と特別な減量損失を利用して、ソースと目標性能のトレードオフを効果的に制御する。提案手法は,様々な連続学習シナリオにおける最先端性能を示す。

関連論文リスト

Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
論文参考訳（メタデータ） (2022-09-16T04:42:21Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
論文参考訳（メタデータ） (2021-10-13T09:24:11Z)
All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文参考訳（メタデータ） (2021-03-02T03:09:03Z)
Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization [8.661269034961679]
本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
論文参考訳（メタデータ） (2021-02-13T06:19:45Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文参考訳（メタデータ） (2020-10-29T06:32:53Z)
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文参考訳（メタデータ） (2020-10-20T18:55:32Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)
Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
論文参考訳（メタデータ） (2020-05-28T15:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。