論文の概要: Continual Learning with Deep Learning Methods in an Application-Oriented Context

• arxiv url: http://arxiv.org/abs/2207.06233v1
• Date: Tue, 12 Jul 2022 10:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 12:23:26.761306
• Title: Continual Learning with Deep Learning Methods in an Application-Oriented Context
• Title（参考訳）: アプリケーション指向コンテキストにおけるディープラーニング手法による連続学習
• Authors: Benedikt Pf\"ulb
• Abstract要約: 人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。 DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Abstract knowledge is deeply grounded in many computer-based applications. An important research area of Artificial Intelligence (AI) deals with the automatic derivation of knowledge from data. Machine learning offers the according algorithms. One area of research focuses on the development of biologically inspired learning algorithms. The respective machine learning methods are based on neurological concepts so that they can systematically derive knowledge from data and store it. One type of machine learning algorithms that can be categorized as "deep learning" model is referred to as Deep Neural Networks (DNNs). DNNs consist of multiple artificial neurons arranged in layers that are trained by using the backpropagation algorithm. These deep learning methods exhibit amazing capabilities for inferring and storing complex knowledge from high-dimensional data. However, DNNs are affected by a problem that prevents new knowledge from being added to an existing base. The ability to continuously accumulate knowledge is an important factor that contributed to evolution and is therefore a prerequisite for the development of strong AIs. The so-called "catastrophic forgetting" (CF) effect causes DNNs to immediately loose already derived knowledge after a few training iterations on a new data distribution. Only an energetically expensive retraining with the joint data distribution of past and new data enables the abstraction of the entire new set of knowledge. In order to counteract the effect, various techniques have been and are still being developed with the goal to mitigate or even solve the CF problem. These published CF avoidance studies usually imply the effectiveness of their approaches for various continual learning tasks. This dissertation is set in the context of continual machine learning with deep learning methods. The first part deals with the development of an ...
• Abstract（参考訳）: 抽象知識は多くのコンピュータベースのアプリケーションに深く根ざしている。 人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 機械学習は、そのアルゴリズムを提供する。 ある研究領域は、生物学的にインスパイアされた学習アルゴリズムの開発に焦点を当てている。 それぞれの機械学習手法は神経学的概念に基づいており、データから知識を体系的に導き出して保存することができる。 ディープニューラルネットワーク(Deep Neural Networks、DNN)とは、ディープラーニングモデルに分類される機械学習アルゴリズムの一種である。 DNNは、バックプロパゲーションアルゴリズムを用いてトレーニングされた複数の人工ニューロンからなる。 これらの深層学習手法は、高次元データから複雑な知識を推論し保存する素晴らしい能力を示す。 しかし、DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けている。 知識を継続的に蓄積する能力は進化に寄与する重要な要素であり、従って強力なAIを開発するための前提条件である。 CF(catastrophic forgetting)効果と呼ばれるこの効果により、DNNは、新しいデータ分散に関する数回のトレーニングを繰り返した後、すぐに、既に派生した知識を緩めることができる。 過去の共同データ分布と新しいデータとのエネルギ的に高価な再トレーニングだけが、新しい知識全体の抽象化を可能にします。 この効果を克服するために、cf問題の緩和や解決を目標として、様々な技術が開発されており、現在も開発が続けられている。 これらのcf回避研究は、通常、様々な連続学習タスクへのアプローチの有効性を示唆している。 この論文は、ディープラーニング手法による継続的機械学習のコンテキストに設定されている。 最初の部分は ... の開発を扱う。

関連論文リスト

• A Methodology-Oriented Study of Catastrophic Forgetting in Incremental Deep Neural Networks [4.844142799909677]
  生涯を通して学習する能力は、神経認知機構を用いた連続学習と呼ばれる。 人工知能の主な課題は、新しいデータが直面するときの自律エージェントの漸進的な学習である。 本稿では,(1)模範的手法,(2)記憶的手法,(3)ネットワーク的手法の3種類の漸進的学習手法を比較した。
  論文  参考訳（メタデータ） (2024-05-11T05:10:07Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
  監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。 継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。 本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
  論文  参考訳（メタデータ） (2023-03-29T18:52:10Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• The ideal data compression and automatic discovery of hidden law using neural network [0.0]
  我々は、人間の脳がどのように出来事を認識し、記憶するかを考える。 我々は、新しいオートエンコーダニューラルネットワークを用いて、人間の脳のシステムを機械学習モデルで再現する。
  論文  参考訳（メタデータ） (2022-03-31T10:55:24Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。