論文の概要: Modelling the development of counting with memory-augmented neural networks

• arxiv url: http://arxiv.org/abs/2105.10577v1
• Date: Fri, 21 May 2021 21:17:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 12:14:24.121507
• Title: Modelling the development of counting with memory-augmented neural networks
• Title（参考訳）: メモリ拡張ニューラルネットワークによるカウントの開発モデル化
• Authors: Zack Dulberg, Taylor Webb, Jonathan Cohen
• Abstract要約: 我々は強化学習エージェントを訓練し、指示されたときに二進ベクトルからN項目を選択する。 メモリを拡張したモジュラーネットワークアーキテクチャは、人間の開発に類似した学習中にインフレクションを示していた。 子どもの発達と外挿能力の類似は、我々のモデルが人間の体系性の出現に光を当てる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 0.7161783472741748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to count is an important example of the broader human capacity for systematic generalization, and the development of counting is often characterized by an inflection point when children rapidly acquire proficiency with the procedures that support this ability. We aimed to model this process by training a reinforcement learning agent to select N items from a binary vector when instructed (known as the give-$N$ task). We found that a memory-augmented modular network architecture based on the recently proposed Emergent Symbol Binding Network (ESBN) exhibited an inflection during learning that resembled human development. This model was also capable of systematic extrapolation outside the range of its training set - for example, trained only to select between 1 and 10 items, it could succeed at selecting 11 to 15 items as long as it could make use of an arbitrary count sequence of at least that length. The close parallels to child development and the capacity for extrapolation suggest that our model could shed light on the emergence of systematicity in humans.
• Abstract（参考訳）: 数えることの学習は、体系的な一般化のためのより広い人間の能力の重要な例であり、数えることの発達は、子供がこの能力をサポートする手順で急速に習熟する点によって特徴づけられることが多い。 我々は、強化学習エージェントを訓練して、2進ベクトルからN項目を選択することによって、このプロセスをモデル化することを目的とした。 最近提案されたEmergent Symbol Binding Network (ESBN) に基づくメモリ拡張型モジュールネットワークアーキテクチャが,人間の開発に類似した学習中にインフレクションを示した。 このモデルはトレーニングセットの範囲外の体系的な外挿も可能で、例えば1から10の項目のみを選択するように訓練された場合、少なくともその長さの任意の数列を利用できる限り、11から15の項目を選択することに成功した。 子どもの発達と外挿能力の類似は、我々のモデルが人間の体系性の出現に光を当てる可能性を示唆している。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Neural Lineage [56.34149480207817]
  本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。 実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。 精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
  論文  参考訳（メタデータ） (2024-06-17T01:11:53Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• GreenLightningAI: An Efficient AI System with Decoupled Structural and Quantitative Knowledge [0.0]
  強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。 この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。 新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。 我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
  論文  参考訳（メタデータ） (2023-12-15T17:34:11Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• A robot that counts like a child: a developmental model of counting and pointing [69.26619423111092]
  実物を数えることができる新しい神経ロボティクスモデルを導入する。 このモデルにより,エンボディメントと数値認識の相互作用を調べることができる。 トレーニングされたモデルは、アイテムのセットをカウントすることができ、同時にそれらを指し示します。
  論文  参考訳（メタデータ） (2020-08-05T21:06:27Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
  特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。 次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-12T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。