論文の概要: Regularised neural networks mimic human insight

• arxiv url: http://arxiv.org/abs/2302.11351v3
• Date: Wed, 4 Oct 2023 13:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 22:31:15.986818
• Title: Regularised neural networks mimic human insight
• Title（参考訳）: 正規化ニューラルネットワークは人間の洞察を模倣する
• Authors: Anika T. L\"owe, L\'eo Touzo, Paul S. Muhle-Karbe, Andrew M. Saxe, Christopher Summerfield, Nicolas W. Schuck
• Abstract要約: 私たちは、人間が徐々にではなく、洞察を通して規則性を発見する傾向があることを示しています。 ネットワーク学習のダイナミクスの分析により、インサイトのような振る舞いは、勾配更新に追加されたノイズに大きく依存していることが明らかになった。 このことは、インサイトが段階的な学習から自然に生まれ、ノイズ、注意的ゲーティング、正規化の複合的な影響を反映していることを示唆している。
• 参考スコア（独自算出の注目度）: 8.737068885923348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans sometimes show sudden improvements in task performance that have been linked to moments of insight. Such insight-related performance improvements appear special because they are preceded by an extended period of impasse, are unusually abrupt, and occur only in some, but not all, learners. Here, we ask whether insight-like behaviour also occurs in artificial neural networks trained with gradient descent algorithms. We compared learning dynamics in humans and regularised neural networks in a perceptual decision task that provided a hidden opportunity which allowed to solve the task more efficiently. We show that humans tend to discover this regularity through insight, rather than gradually. Notably, neural networks with regularised gate modulation closely mimicked behavioural characteristics of human insights, exhibiting delay of insight, suddenness and selective occurrence. Analyses of network learning dynamics revealed that insight-like behaviour crucially depended on noise added to gradient updates, and was preceded by ``silent knowledge'' that is initially suppressed by regularised (attentional) gating. This suggests that insights can arise naturally from gradual learning, where they reflect the combined influences of noise, attentional gating and regularisation.
• Abstract（参考訳）: 人間は時々、洞察の瞬間に結びついているタスクパフォーマンスの突然の改善を示す。 このような洞察に関連したパフォーマンス改善は、期間の延長が先行し、異常に突然であり、一部の学習者(すべてではないが)にのみ発生するため、特別に見える。 ここでは,勾配降下アルゴリズムを用いて学習したニューラルネットワークにおいて,洞察的行動も発生するかどうかを問う。 人間の学習ダイナミクスと、より効率的に解くための隠れた機会を提供する知覚的意思決定タスクにおける正規化ニューラルネットワークを比較した。 我々は、人間が徐々にではなく、洞察を通してこの規則性を発見する傾向があることを示した。 特に、正規化ゲート変調を持つニューラルネットワークは、人間の洞察の行動特性を密接に模倣し、洞察の遅延、突然性、選択的発生を示す。 ネットワーク学習のダイナミクスの分析によると、洞察的行動は勾配更新に付加されるノイズに決定的に依存しており、最初は正規化(意図的)ゲーティングによって抑制された「サイレント・ナレッジ」が先行していた。 これは、音、注意ゲーティング、正規化の複合的な影響を反映した段階的な学習から、洞察が自然に生まれることを示唆している。

関連論文リスト

• Life, uh, Finds a Way: Systematic Neural Search [2.163881720692685]
  エージェントの動作に迅速に適応して、設定における継続的な問題を解決するという課題に取り組みます。 深層強化学習に焦点をあてる代わりに,探索手順の物理的表現としての視聴行動を提案する。 本稿では,行動実行とグラフの突然変異の間の厳密なフィードバックループを調節することにより,行動の暗黙的な列挙を行うアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-10-02T09:06:54Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• The world seems different in a social context: a neural network analysis of human experimental data [57.729312306803955]
  本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。 トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
  論文  参考訳（メタデータ） (2022-03-03T17:19:12Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning to acquire novel cognitive tasks with evolution, plasticity and meta-meta-learning [3.8073142980733]
  メタラーニングでは、ネットワークは外部アルゴリズムでトレーニングされ、タスクの新しいインスタンスごとに予測不可能な情報を取得し、保存し、活用する必要があるタスクを学習する。 ここでは、神経科学モデリングフレームワークに基づく単純なメタ学習タスクのセットで、プラスティック接続を備えたニューラルネットワークを進化させます。 進化したネットワークは、進化した神経組織と塑性構造を自発的に操作することで、トレーニング中に見ることのない、新しい単純な認知タスクを自動的に取得することができる。
  論文  参考訳（メタデータ） (2021-12-16T03:18:01Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors [2.7834038784275403]
  ニューラルネットワークにおける敵の脆弱性の起源について検討する。 本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
  論文  参考訳（メタデータ） (2020-07-04T08:47:51Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)
• How Do You Act? An Empirical Study to Understand Behavior of Deep Reinforcement Learning Agents [2.3268634502937937]
  深層強化学習エージェントの意思決定プロセスの透明性向上への需要はこれまで以上に大きい。 本研究では,エージェントのポリシーネットワークの活性化空間を通じて学習した表現を特徴付ける。 本研究は,ネットワークの層活性化と実行動作の相関パターンを特徴とする健康エージェントの挙動を示す。
  論文  参考訳（メタデータ） (2020-04-07T10:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。