論文の概要: Some thoughts on catastrophic forgetting and how to learn an algorithm

• arxiv url: http://arxiv.org/abs/2108.03940v1
• Date: Mon, 9 Aug 2021 11:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 14:57:57.939088
• Title: Some thoughts on catastrophic forgetting and how to learn an algorithm
• Title（参考訳）: 破滅的な忘れ方とアルゴリズムの学習方法
• Authors: Miguel Ruiz-Garcia
• Abstract要約: 我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The work of McCloskey and Cohen popularized the concept of catastrophic interference. They used a neural network that tried to learn addition using two groups of examples as two different tasks. In their case, learning the second task rapidly deteriorated the acquired knowledge about the previous one. This could be a symptom of a fundamental problem: addition is an algorithmic task that should not be learned through pattern recognition. We propose to use a neural network with a different architecture that can be trained to recover the correct algorithm for the addition of binary numbers. We test it in the setting proposed by McCloskey and Cohen and training on random examples one by one. The neural network not only does not suffer from catastrophic forgetting but it improves its predictive power on unseen pairs of numbers as training progresses. This work emphasizes the importance that neural network architecture has for the emergence of catastrophic forgetting and introduces a neural network that is able to learn an algorithm.
• Abstract（参考訳）: マクラスキーとコーエンの研究は破滅的な干渉の概念を広めた。 彼らは2つの異なるタスクとして2つのサンプルグループを使用して追加学習を試みるニューラルネットワークを使用した。 その場合、2番目のタスクの学習は、前回のタスクに関する取得した知識を急速に劣化させました。 これは基本的な問題の徴候であり、追加はパターン認識によって学習すべきでないアルゴリズム的なタスクである。 我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 McCloskey と Cohen によって提案された設定でテストし、ランダムな例をひとつずつトレーニングする。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。 この研究は、ニューラルネットワークアーキテクチャが破滅的な忘れ物の出現に重要であることを強調し、アルゴリズムを学習できるニューラルネットワークを導入している。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Truly Sparse Neural Networks at Scale [2.2860412844991655]
  私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。 われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
  論文  参考訳（メタデータ） (2021-02-02T20:06:47Z)
• A biologically plausible neural network for local supervision in cortical microcircuits [17.00937011213428]
  我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。 我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
  論文  参考訳（メタデータ） (2020-11-30T17:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。