論文の概要: Accretionary Learning with Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.10857v1
• Date: Sun, 21 Nov 2021 16:58:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 06:01:31.642573
• Title: Accretionary Learning with Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによる付加学習
• Authors: Xinyu Wei, Biing-Hwang Fred Juang, Ouya Wang, Shenglong Zhou and Geoffrey Ye Li
• Abstract要約: そこで我々は,人間の学習をエミュレートする新たな学習手法Accretionary Learning (AL)を提案する。 対応する学習構造はモジュール化されており、動的に拡張して新しい知識を登録し利用することができる。 新たな構造と設計手法が,認知的複雑性の増加に対応するために成長するシステムにつながることを示す。
• 参考スコア（独自算出の注目度）: 36.65914244537912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the fundamental limitations of Deep Neural Networks (DNN) is its inability to acquire and accumulate new cognitive capabilities. When some new data appears, such as new object classes that are not in the prescribed set of objects being recognized, a conventional DNN would not be able to recognize them due to the fundamental formulation that it takes. The current solution is typically to re-design and re-learn the entire network, perhaps with a new configuration, from a newly expanded dataset to accommodate new knowledge. This process is quite different from that of a human learner. In this paper, we propose a new learning method named Accretionary Learning (AL) to emulate human learning, in that the set of objects to be recognized may not be pre-specified. The corresponding learning structure is modularized, which can dynamically expand to register and use new knowledge. During accretionary learning, the learning process does not require the system to be totally re-designed and re-trained as the set of objects grows in size. The proposed DNN structure does not forget previous knowledge when learning to recognize new data classes. We show that the new structure and the design methodology lead to a system that can grow to cope with increased cognitive complexity while providing stable and superior overall performance.
• Abstract（参考訳）: Deep Neural Networks(DNN)の基本的制限の1つは、新しい認知能力の獲得と蓄積ができないことである。 指定されたオブジェクトセットにない新しいオブジェクトクラスなどの新しいデータが現れると、従来のdnnは、それが必要とする基本的な定式化のため、それを認識できないだろう。 現在のソリューションは通常、新たな知識に対応するために、新たに拡張されたデータセットから、ネットワーク全体の再設計と再学習を行なう。 このプロセスは、人間の学習者とはまったく違います。 本稿では,人間の学習をエミュレートする新たな学習手法Accretionary Learning (AL)を提案する。 対応する学習構造はモジュール化されており、動的に拡張して新しい知識を登録し利用することができる。 付加学習の間、学習プロセスは、対象の集合が大きくなるにつれて、システムが完全に再設計され、再訓練される必要はない。 提案したDNN構造は,新しいデータクラスを学習する際の過去の知識を忘れない。 そこで本研究では,新しい構造と設計手法により,認知的複雑性の増大に対処し,全体的なパフォーマンスを安定させながら,システムを構築することができることを示す。

関連論文リスト

• Continual Learning with Deep Learning Methods in an Application-Oriented Context [0.0]
  人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。 DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
  論文  参考訳（メタデータ） (2022-07-12T10:13:33Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• The Role of Bio-Inspired Modularity in General Learning [0.0]
  汎用知能の1つの目標は、事前学習を上書きすることなく、新しい情報を学ぶことである。 以前の知識をブートストラップすることで、新しいタスクの学習を早めることができる。 モジュール性は、破滅的な忘れとブートストラップの制約なしに学習に固執する、重み付けされた学習方法のソリューションを提供するかもしれない。
  論文  参考訳（メタデータ） (2021-09-23T18:45:34Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)
• Deep Adaptive Semantic Logic (DASL): Compiling Declarative Knowledge into Deep Neural Networks [11.622060073764944]
  本稿では,深層ニューラルネットワークの自動生成のための新しいフレームワークであるDeep Adaptive Semantic Logic (DASL)を紹介する。 DASLは、データからの学習を改善するために、ユーザが提供する形式的な知識を取り入れている。 我々は,視覚的関係検出タスク上でDASLを評価し,コモンセンス知識の追加によってデータ不足時の性能が10.7%向上することが実証された。
  論文  参考訳（メタデータ） (2020-03-16T17:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。