論文の概要: Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals

• arxiv url: http://arxiv.org/abs/2203.11560v1
• Date: Tue, 22 Mar 2022 09:32:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 01:30:50.949728
• Title: Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals
• Title（参考訳）: Hebbian context gatingと指数関数的に減衰するタスク信号を持つヒトにおける連続学習のモデル化
• Authors: Timo Flesch, David G. Nagy, Andrew Saxe, Christopher Summerfield
• Abstract要約: 人間は、最小限の相互干渉で連続して複数のタスクを学ぶことができるが、一度に複数のタスクを訓練すると、パフォーマンスが低下する。 本稿では,ニューラルネットワークに対する新しい計算制約を提案する。この制約は,インターリーブドトレーニングのコストを捕捉し,ネットワークが2つのタスクを連続的に学習することを可能にする。 学習中に「スラグッシュ」ユニットがスイッチコストを導入し、コンテキストキューを無視した共同表現に対して、インターリーブされたトレーニング下での表現をバイアスするのに対し、ヘビアンステップはタスクユニットから完全に干渉から保護された表現を生成する隠蔽層へのゲーティングスキームの形成を促進する。
• 参考スコア（独自算出の注目度）: 4.205692673448206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can learn several tasks in succession with minimal mutual interference but perform more poorly when trained on multiple tasks at once. The opposite is true for standard deep neural networks. Here, we propose novel computational constraints for artificial neural networks, inspired by earlier work on gating in the primate prefrontal cortex, that capture the cost of interleaved training and allow the network to learn two tasks in sequence without forgetting. We augment standard stochastic gradient descent with two algorithmic motifs, so-called "sluggish" task units and a Hebbian training step that strengthens connections between task units and hidden units that encode task-relevant information. We found that the "sluggish" units introduce a switch-cost during training, which biases representations under interleaved training towards a joint representation that ignores the contextual cue, while the Hebbian step promotes the formation of a gating scheme from task units to the hidden layer that produces orthogonal representations which are perfectly guarded against interference. Validating the model on previously published human behavioural data revealed that it matches performance of participants who had been trained on blocked or interleaved curricula, and that these performance differences were driven by misestimation of the true category boundary.
• Abstract（参考訳）: 人間は、最小限の相互干渉で連続して複数のタスクを学ぶことができるが、一度に複数のタスクを訓練すると、パフォーマンスが低下する。 逆は、標準のディープニューラルネットワークにも当てはまる。 そこで本研究では,前頭前頭前皮質のゲーティングに関する初期の研究から着想を得た,ニューラルネットワークに対する新たな計算制約を提案する。 タスクユニットとタスク関連情報をエンコードする隠れユニットとの接続を強化するヒュービアントレーニングステップといわゆるsluggishタスクユニットの2つのアルゴリズムモチーフによって、標準的な確率的勾配降下を補強する。 学習中に「スラグッシュ」ユニットがスイッチコストを導入し、コンテキストキューを無視した共同表現に対して、インターリーブドトレーニング下での表現をバイアスするのに対し、ヘビアンステップはタスクユニットから完全に干渉から保護された直交表現を生成する隠蔽層へのゲーティングスキームの形成を促進する。 これまでに公表された人間の行動データでモデルを検証することで、ブロックまたはインターリーブされたカリキュラムの訓練を受けた参加者のパフォーマンスと一致し、これらのパフォーマンスの違いは真のカテゴリ境界の誤推定によって引き起こされたことが明らかとなった。

関連論文リスト

• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
  タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。 CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
  論文  参考訳（メタデータ） (2023-11-02T22:00:23Z)
• MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
  MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。 我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。 我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
  論文  参考訳（メタデータ） (2023-10-30T13:50:44Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• On the training and generalization of deep operator networks [11.159056906971983]
  深層演算ネットワーク(DeepONets)のための新しいトレーニング手法を提案する。 DeepONetsは2つのサブネットワークによって構築されている。 入力データの観点から幅誤差推定値を確立する。
  論文  参考訳（メタデータ） (2023-09-02T21:10:45Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation [39.99513327031499]
  本研究では,ラベルなしビデオ上での自己教師付き単眼深度推定により,教師付きセマンティックセマンティックセグメンテーションを拡張するマルチタスクトレーニングによるロバストネスの向上を提案する。 提案手法の有効性をCityscapesデータセットで示し,マルチタスクトレーニングアプローチが単一タスクセマンティックセグメンテーションベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-23T11:03:56Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。