Fugu-MT 論文翻訳(概要): Frosting Weights for Better Continual Training

論文の概要: Frosting Weights for Better Continual Training

arxiv url: http://arxiv.org/abs/2001.01829v1
Date: Tue, 7 Jan 2020 00:53:46 GMT
ステータス: 処理完了
システム内更新日: 2023-01-13 20:09:03.602652
Title: Frosting Weights for Better Continual Training
Title（参考訳）: 凍結重量による継続的なトレーニングの改善
Authors: Xiaofeng Zhu, Feng Liu, Goce Trajcevski, Dingding Wang
Abstract要約: ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
参考スコア（独自算出の注目度）: 22.554993259239307
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training a neural network model can be a lifelong learning process and is a computationally intensive one. A severe adverse effect that may occur in deep neural network models is that they can suffer from catastrophic forgetting during retraining on new data. To avoid such disruptions in the continuous learning, one appealing property is the additive nature of ensemble models. In this paper, we propose two generic ensemble approaches, gradient boosting and meta-learning, to solve the catastrophic forgetting problem in tuning pre-trained neural network models.
Abstract（参考訳）: ニューラルネットワークモデルのトレーニングは、生涯学習プロセスであり、計算集約的なプロセスである。深層ニューラルネットワークモデルで発生する深刻な副作用は、新しいデータの再トレーニング中に壊滅的な忘れに苦しむ可能性があることである。このような連続学習の混乱を避けるためには、アンサンブルモデルの加法的性質が魅力的である。本稿では,学習前のニューラルネットワークモデルをチューニングする際の悲惨な忘れを解くために,勾配向上とメタラーニングという2つの一般的なアンサンブル手法を提案する。

関連論文リスト

Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
論文参考訳（メタデータ） (2024-07-09T12:21:35Z)
Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
論文参考訳（メタデータ） (2023-09-12T22:34:34Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文参考訳（メタデータ） (2022-09-30T15:15:05Z)
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation [15.309573393914462]
ニューラルネットワークは、動的データ分布から複数のタスクを逐次学習する際に、これまで学んだ知識を忘れがちである。この問題はtextitcatastrophic forgettingと呼ばれ、ニューラルネットワークの継続的な学習における根本的な課題である。本研究では,特定のデータ注文に基づいて訓練された教師モデルを動的に更新し,学生モデルに補完的知識を反復的に提供するための補完的オンライン知識蒸留(COKD)を提案する。
論文参考訳（メタデータ） (2022-03-08T08:08:45Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
論文参考訳（メタデータ） (2021-07-02T10:01:37Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文参考訳（メタデータ） (2020-05-20T16:56:08Z)
Neural Network Retraining for Model Serving [32.857847595096025]
我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
論文参考訳（メタデータ） (2020-04-29T13:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。