論文の概要: Dual Cognitive Architecture: Incorporating Biases and Multi-Memory Systems for Lifelong Learning

• arxiv url: http://arxiv.org/abs/2310.11341v1
• Date: Tue, 17 Oct 2023 15:24:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 15:20:16.461337
• Title: Dual Cognitive Architecture: Incorporating Biases and Multi-Memory Systems for Lifelong Learning
• Title（参考訳）: デュアル認知アーキテクチャ:生涯学習のためのバイアスとマルチメモリシステム
• Authors: Shruthi Gowda, Bahram Zonooz, Elahe Arani
• Abstract要約: 本稿では,複数のサブシステム,暗黙的かつ明示的な知識表現,帰納的バイアス,マルチメモリシステムを含むDual Cognitive Architecture(DUCA)を紹介する。 DUCAはさまざまな設定やデータセットにまたがって改善を示し、余分な情報を必要とせずにタスクの遅延バイアスを低減している。 分散シフトが困難な場合の生涯学習手法の汎用性をさらに検証するため,ドメイン・インクリメンタル・データセットDN4ILを導入する。
• 参考スコア（独自算出の注目度）: 21.163070161951868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (ANNs) exhibit a narrow scope of expertise on stationary independent data. However, the data in the real world is continuous and dynamic, and ANNs must adapt to novel scenarios while also retaining the learned knowledge to become lifelong learners. The ability of humans to excel at these tasks can be attributed to multiple factors ranging from cognitive computational structures, cognitive biases, and the multi-memory systems in the brain. We incorporate key concepts from each of these to design a novel framework, Dual Cognitive Architecture (DUCA), which includes multiple sub-systems, implicit and explicit knowledge representation dichotomy, inductive bias, and a multi-memory system. The inductive bias learner within DUCA is instrumental in encoding shape information, effectively countering the tendency of ANNs to learn local textures. Simultaneously, the inclusion of a semantic memory submodule facilitates the gradual consolidation of knowledge, replicating the dynamics observed in fast and slow learning systems, reminiscent of the principles underpinning the complementary learning system in human cognition. DUCA shows improvement across different settings and datasets, and it also exhibits reduced task recency bias, without the need for extra information. To further test the versatility of lifelong learning methods on a challenging distribution shift, we introduce a novel domain-incremental dataset DN4IL. In addition to improving performance on existing benchmarks, DUCA also demonstrates superior performance on this complex dataset.
• Abstract（参考訳）: ニューラルネットワーク(ANN)は、定常的な独立したデータに関する専門知識の狭い範囲を示す。 しかし、実世界のデータは連続的かつ動的であり、ANNは学習知識を保持して生涯学習者となるためには、新しいシナリオに適応する必要がある。 これらのタスクに優れる人間の能力は、認知的計算構造、認知バイアス、脳内のマルチメモリシステムなど、様々な要因によって引き起こされる。 これらからキーとなる概念を取り入れ、新しいフレームワーク、複数のサブシステム、暗黙的および明示的な知識表現二分法、帰納的バイアス、マルチメモリシステムを含むdual cognitive architecture(duca)を設計した。 DUCA内の帰納バイアス学習者は形状情報の符号化に役立ち、ANNが局所的なテクスチャを学習する傾向に効果的に対抗できる。 同時に、セマンティックメモリサブモジュールが組み込まれ、知識の段階的な統合が促進され、高速で遅い学習システムで観察されるダイナミクスが複製され、人間の認知において補完的な学習システムを支える原則が思い出される。 DUCAはさまざまな設定やデータセットにまたがって改善を示し、余分な情報を必要とせずにタスクの遅延バイアスを低減する。 分散シフトが困難な場合,生涯学習法の汎用性をさらに検証するために,新しいドメインインクリメンタルデータセットdn4ilを提案する。 既存のベンチマークのパフォーマンス向上に加えて、DUCAはこの複雑なデータセットで優れたパフォーマンスを示す。

関連論文リスト

• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Improving Performance in Continual Learning Tasks using Bio-Inspired Architectures [4.2903672492917755]
  我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。 さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-08T19:12:52Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Cognitively Inspired Learning of Incremental Drifting Concepts [31.3178953771424]
  神経系学習機構にインスパイアされた我々は、ディープニューラルネットワークが新しい概念を学習することを可能にする計算モデルを開発した。 我々のモデルは、過去の学習経験に新たな経験を蓄積し、タスク間の干渉を引き起こすことなく擬似データポイントを生成することができる。
  論文  参考訳（メタデータ） (2021-10-09T23:26:29Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。