論文の概要: The Role of Bio-Inspired Modularity in General Learning

• arxiv url: http://arxiv.org/abs/2109.15097v1
• Date: Thu, 23 Sep 2021 18:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-10 13:35:21.111604
• Title: The Role of Bio-Inspired Modularity in General Learning
• Title（参考訳）: 一般学習におけるバイオインスパイアモジュラリティの役割
• Authors: Rachel A. StClair, William Edward Hahn, and Elan Barenholtz
• Abstract要約: 汎用知能の1つの目標は、事前学習を上書きすることなく、新しい情報を学ぶことである。 以前の知識をブートストラップすることで、新しいタスクの学習を早めることができる。 モジュール性は、破滅的な忘れとブートストラップの制約なしに学習に固執する、重み付けされた学習方法のソリューションを提供するかもしれない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One goal of general intelligence is to learn novel information without overwriting prior learning. The utility of learning without forgetting (CF) is twofold: first, the system can return to previously learned tasks after learning something new. In addition, bootstrapping previous knowledge may allow for faster learning of a novel task. Previous approaches to CF and bootstrapping are primarily based on modifying learning in the form of changing weights to tune the model to the current task, overwriting previously tuned weights from previous tasks.However, another critical factor that has been largely overlooked is the initial network topology, or architecture. Here, we argue that the topology of biological brains likely evolved certain features that are designed to achieve this kind of informational conservation. In particular, we consider that the highly conserved property of modularity may offer a solution to weight-update learning methods that adheres to the learning without catastrophic forgetting and bootstrapping constraints. Final considerations are then made on how to combine these two learning objectives in a dynamical, general learning system.
• Abstract（参考訳）: 汎用知能の1つの目標は、事前学習を上書きすることなく新しい情報を学ぶことである。 CF(Learning without forgeting)のメリットは2つあります。まず最初に,何か新しいことを学習した後で,以前に学習したタスクに戻ることができるのです。 さらに、以前の知識をブートストラップすることで、新しいタスクを素早く学習することができる。 CFとブートストラップに対する従来のアプローチは主に、モデルを現在のタスクにチューニングするために重みを変更する形で学習を変更することに基づいており、以前のタスクから調整された重みを上書きしている。 ここでは、生物学的脳のトポロジーは、この種の情報保存を達成するために設計された特定の特徴を進化させた可能性が高いと論じる。 特に、モジュラリティの高度に保存された特性は、破滅的な放棄やブートストラップの制約なしに学習に固執する重み付け学習方法の解決策となるかもしれない。 次に,この2つの学習目標を動的,汎用的な学習システムに組み合わせる方法について検討する。

関連論文リスト

• Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy [0.2796197251957244]
  カタストロフィック・フォーッティング(CF)は、ディープラーニングモデルにおいて、精度を著しく低下させる可能性がある。 CFは1989年にマクロスキーとコーエンによって初めて観測され、現在も活発な研究トピックである。 本稿では、勾配降下を学習アルゴリズムとして用いた最近のディープラーニングモデルにおいて、CFに取り組む最近の研究を調査する。
  論文  参考訳（メタデータ） (2023-12-16T22:24:54Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Leveraging Old Knowledge to Continually Learn New Classes in Medical Images [16.730335437094592]
  我々は、破滅的なことを忘れずに新しいクラスを学ぶために、いかに古い知識を活用できるかに焦点を当てる。 我々のソリューションは、最先端のベースラインよりも、クラスの正確さと忘れやすさにおいて優れたパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2023-03-24T02:10:53Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Accretionary Learning with Deep Neural Networks [36.65914244537912]
  そこで我々は,人間の学習をエミュレートする新たな学習手法Accretionary Learning (AL)を提案する。 対応する学習構造はモジュール化されており、動的に拡張して新しい知識を登録し利用することができる。 新たな構造と設計手法が,認知的複雑性の増加に対応するために成長するシステムにつながることを示す。
  論文  参考訳（メタデータ） (2021-11-21T16:58:15Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。