論文の概要: Elastic Weight Consolidation (EWC): Nuts and Bolts
- arxiv url: http://arxiv.org/abs/2105.04093v1
- Date: Mon, 10 May 2021 03:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 00:38:16.402477
- Title: Elastic Weight Consolidation (EWC): Nuts and Bolts
- Title(参考訳): EWC(Elastic Weight Consolidation) : ナットとボルト
- Authors: Abhishek Aich
- Abstract要約: ニューラルネットワークにおける破滅的忘れを克服する」という論文で紹介された連続学習法「textbfelastic weight consolidation」の理論的支援について述べる。
連続学習における正規化手法における最も引用された論文の1つとして,提案する目的関数の基本的な概念を整理する。
- 参考スコア(独自算出の注目度): 2.3569088511882335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this report, we present a theoretical support of the continual learning
method \textbf{Elastic Weight Consolidation}, introduced in paper titled
`Overcoming catastrophic forgetting in neural networks'. Being one of the most
cited paper in regularized methods for continual learning, this report
disentangles the underlying concept of the proposed objective function. We
assume that the reader is aware of the basic terminologies of continual
learning.
- Abstract(参考訳): 本稿では,「ニューラルネットワークにおける破滅的忘れ」という題名の論文で紹介された連続学習手法「textbf{Elastic Weight Consolidation」の理論的支援について述べる。
連続学習における正規化手法における最も引用された論文の1つとして,提案する目的関数の基本的な概念を整理する。
読者は継続学習の基本的な用語を認識していると仮定する。
関連論文リスト
- Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning [14.909298522361306]
ノートは、深層学習の数学的理解に関するプリンストン大学の上級講座の一部として、2021年3月にNCが行った講義に基づいている。
彼らは線形ニューラルネットワークの理論(NC、NR、共同研究者によって開発された)を提示し、ディープラーニングの最適化と一般化の研究における基礎モデルである。
論文 参考訳(メタデータ) (2024-08-25T08:24:48Z) - FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。
項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。
また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
論文 参考訳(メタデータ) (2024-04-18T12:58:36Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳(メタデータ) (2024-03-20T02:21:44Z) - Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳(メタデータ) (2023-07-05T23:21:05Z) - A new approach for extracting the conceptual schema of texts based on
the linguistic Thematic Progression theory [0.0]
本稿では,テキストの暗黙的概念スキーマの発見とラベル付けのための新しいアプローチを提案する。
基礎となる概念スキーマは、テキストの意味論と真に一致した要約を生成するためのコアコンポーネントである。
論文 参考訳(メタデータ) (2020-10-14T23:50:25Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Generalisation Guarantees for Continual Learning with Orthogonal
Gradient Descent [81.29979864862081]
継続的な学習環境では、深いニューラルネットワークは破滅的な予測をしがちである。
本稿では,ニューラルタンジェントカーネルシステムにおける連続学習アルゴリズムの理論的枠組みを提案する。
論文 参考訳(メタデータ) (2020-06-21T23:49:57Z) - Corpus-level and Concept-based Explanations for Interpretable Document
Classification [23.194220621342254]
本稿では,キーワードとモデル予測の間の因果関係を捉えるためのコーパスレベルの説明手法を提案する。
また,より高レベルな概念を自動学習し,モデル予測タスクにおいて重要となる概念に基づく説明手法を提案する。
論文 参考訳(メタデータ) (2020-04-24T20:54:17Z) - Fiedler Regularization: Learning Neural Networks with Graph Sparsity [6.09170287691728]
ニューラルネットワークの基盤となるグラフィカル構造を包含し、尊重する、ディープラーニングのための新しい正規化アプローチを導入する。
我々は、ニューラルネットワークの基盤となるグラフのFiedler値を正規化のツールとして使うことを提案する。
論文 参考訳(メタデータ) (2020-03-02T16:19:33Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。