論文の概要: Elastic Weight Consolidation (EWC): Nuts and Bolts
- arxiv url: http://arxiv.org/abs/2105.04093v1
- Date: Mon, 10 May 2021 03:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 00:38:16.402477
- Title: Elastic Weight Consolidation (EWC): Nuts and Bolts
- Title(参考訳): EWC(Elastic Weight Consolidation) : ナットとボルト
- Authors: Abhishek Aich
- Abstract要約: ニューラルネットワークにおける破滅的忘れを克服する」という論文で紹介された連続学習法「textbfelastic weight consolidation」の理論的支援について述べる。
連続学習における正規化手法における最も引用された論文の1つとして,提案する目的関数の基本的な概念を整理する。
- 参考スコア(独自算出の注目度): 2.3569088511882335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this report, we present a theoretical support of the continual learning
method \textbf{Elastic Weight Consolidation}, introduced in paper titled
`Overcoming catastrophic forgetting in neural networks'. Being one of the most
cited paper in regularized methods for continual learning, this report
disentangles the underlying concept of the proposed objective function. We
assume that the reader is aware of the basic terminologies of continual
learning.
- Abstract(参考訳): 本稿では,「ニューラルネットワークにおける破滅的忘れ」という題名の論文で紹介された連続学習手法「textbf{Elastic Weight Consolidation」の理論的支援について述べる。
連続学習における正規化手法における最も引用された論文の1つとして,提案する目的関数の基本的な概念を整理する。
読者は継続学習の基本的な用語を認識していると仮定する。
関連論文リスト
- A Primer on Temporal Graph Learning [14.964558198236675]
本論文は, テンポラルグラフ学習(TGL)をコンセプトファーストアプローチで読者に親しみやすくすることを目的とする。
我々は,TGLフレームワークの動作を理解する上で不可欠な重要な概念を体系的に提示してきた。
本稿では,リカレントニューラルネットワークや畳み込みニューラルネットワーク,トランスフォーマーやグラフニューラルネットワークなど,関連する学習アーキテクチャを紹介する。
論文 参考訳(メタデータ) (2024-01-08T16:08:21Z) - Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳(メタデータ) (2023-07-05T23:21:05Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳(メタデータ) (2023-06-18T05:26:49Z) - A new approach for extracting the conceptual schema of texts based on
the linguistic Thematic Progression theory [0.0]
本稿では,テキストの暗黙的概念スキーマの発見とラベル付けのための新しいアプローチを提案する。
基礎となる概念スキーマは、テキストの意味論と真に一致した要約を生成するためのコアコンポーネントである。
論文 参考訳(メタデータ) (2020-10-14T23:50:25Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Generalisation Guarantees for Continual Learning with Orthogonal
Gradient Descent [81.29979864862081]
継続的な学習環境では、深いニューラルネットワークは破滅的な予測をしがちである。
本稿では,ニューラルタンジェントカーネルシステムにおける連続学習アルゴリズムの理論的枠組みを提案する。
論文 参考訳(メタデータ) (2020-06-21T23:49:57Z) - Corpus-level and Concept-based Explanations for Interpretable Document
Classification [23.194220621342254]
本稿では,キーワードとモデル予測の間の因果関係を捉えるためのコーパスレベルの説明手法を提案する。
また,より高レベルな概念を自動学習し,モデル予測タスクにおいて重要となる概念に基づく説明手法を提案する。
論文 参考訳(メタデータ) (2020-04-24T20:54:17Z) - R-VGAE: Relational-variational Graph Autoencoder for Unsupervised
Prerequisite Chain Learning [83.13634692459486]
本稿では,概念リソースノードからなるグラフ内の概念関係を予測するために,グラフオートエンコーダ(VGA-E)と呼ばれるモデルを提案する。
その結果, 教師なし手法は, グラフベースの半教師付き手法やベースライン法よりも9.77%, 10.47%, 前提条件関係予測精度とF1スコアに優れていた。
提案手法は,教師なし事前学習のタスクに深層学習表現を適用しようとする最初のグラフベースモデルである。
論文 参考訳(メタデータ) (2020-04-22T14:48:03Z) - Fiedler Regularization: Learning Neural Networks with Graph Sparsity [6.09170287691728]
ニューラルネットワークの基盤となるグラフィカル構造を包含し、尊重する、ディープラーニングのための新しい正規化アプローチを導入する。
我々は、ニューラルネットワークの基盤となるグラフのFiedler値を正規化のツールとして使うことを提案する。
論文 参考訳(メタデータ) (2020-03-02T16:19:33Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。