論文の概要: Encoding priors in the brain: a reinforcement learning model for mouse decision making

• arxiv url: http://arxiv.org/abs/2112.05816v1
• Date: Fri, 10 Dec 2021 20:16:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 18:57:16.685515
• Title: Encoding priors in the brain: a reinforcement learning model for mouse decision making
• Title（参考訳）: 脳における優先順位の符号化:マウス意思決定のための強化学習モデル
• Authors: Sanjukta Krishnagopal and Peter Latham
• Abstract要約: 我々は、画面の左右に格子が現れる国際脳実験室のタスクについて研究し、マウスは格子を中央に持ってくるために車輪を動かさなければならない。 我々はこれを強化学習タスクとしてモデル化し、フィードフォワードニューラルネットワークを用いて状態をアクションにマッピングし、ネットワークの重みを調整して報酬を最大化し、政策勾配を通じて学習する。 提案モデルでは,約10回の臨床試験において,ブロックスイッチ後のコントラストシフトに対する心理測定曲線が変化するという,主要な実験結果が再現される。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In two-alternative forced choice tasks, prior knowledge can improve performance, especially when operating near the psychophysical threshold. For instance, if subjects know that one choice is much more likely than the other, they can make that choice when evidence is weak. A common hypothesis for these kinds of tasks is that the prior is stored in neural activity. Here we propose a different hypothesis: the prior is stored in synaptic strengths. We study the International Brain Laboratory task, in which a grating appears on either the right or left side of a screen, and a mouse has to move a wheel to bring the grating to the center. The grating is often low in contrast which makes the task relatively difficult, and the prior probability that the grating appears on the right is either 80% or 20%, in (unsignaled) blocks of about 50 trials. We model this as a reinforcement learning task, using a feedforward neural network to map states to actions, and adjust the weights of the network to maximize reward, learning via policy gradient. Our model uses an internal state that stores an estimate of the grating and confidence, and follows Bayesian updates, and can switch between engaged and disengaged states to mimic animal behavior. This model reproduces the main experimental finding - that the psychometric curve with respect to contrast shifts after a block switch in about 10 trials. Also, as seen in the experiments, in our model the difference in neuronal activity in the right and left blocks is small - it is virtually impossible to decode block structure from activity on single trials if noise is about 2%. The hypothesis that priors are stored in weights is difficult to test, but the technology to do so should be available in the not so distant future.
• Abstract（参考訳）: 2つの代替的な強制選択タスクでは、先行知識は、特に精神物理学的閾値付近で操作する場合、パフォーマンスを向上させることができる。 例えば、被験者が一方の選択が他方よりもずっと可能性が高いと知っていれば、証拠が弱い場合にその選択をすることができる。 この種のタスクの一般的な仮説は、前兆が神経活動に格納されていることである。 ここでは,前者はシナプス強度に格納されるという,異なる仮説を提案する。 我々は、画面の左右に格子が現れる国際脳実験室のタスクについて研究し、マウスは格子を中央に持ってくるために車輪を動かさなければならない。 対照的にグレーティングはしばしば低いため、タスクは比較的難しく、約50回の試行の(無署名の)ブロックにおいて、右にグレーティングが現れる前の確率は80%か20%である。 我々はこれを強化学習タスクとしてモデル化し、フィードフォワードニューラルネットワークを使用して状態をアクションにマッピングし、ネットワークの重みを調整して報酬を最大化し、ポリシー勾配を通じて学習する。 私たちのモデルは、グレーティングと信頼度の推定を格納する内部状態を使用しており、ベイジアン更新に従い、動物の行動を模倣するために、関与状態と離脱状態の切り替えが可能である。 このモデルは、約10回の臨床試験において、ブロックスイッチ後のコントラストシフトに対する心理測定曲線が変化するという、主要な実験的な発見を再現する。 また、実験の結果、我々のモデルでは、右ブロックと左ブロックの神経活動の差は小さく、ノイズが約2%である場合、ブロック構造を単一試行での活動から切り離すことは事実上不可能である。 先行データが重みに格納されているという仮説はテストが難しいが、そうする技術はそれほど遠くない将来に提供されるはずだ。

関連論文リスト

• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Optimisation in Neurosymbolic Learning Systems [1.450405446885067]
  我々は、記号言語を用いて表現されたデータと背景知識の両方を持つニューロシンボリックラーニングについて研究する。 確率論的推論(probabilistic reasoning)は、ニューラルネットワークに自然に適合する。 私たちの洞察は、確率論的推論の結果を予測するために、合成データでニューラルネットワークをトレーニングすることです。
  論文  参考訳（メタデータ） (2024-01-19T17:09:32Z)
• One-hot Generalized Linear Model for Switching Brain State Discovery [1.0132677989820746]
  神経信号からの推論された神経相互作用は、主に機能的相互作用を反映する。 学習した前者は状態-状態相互作用を捉え、基礎となる解剖学的コネクトームに光を当てるべきであることを示す。 本手法は,シミュレーションデータにおける真の相互作用構造を効果的に復元し,実際のニューラルネットワークで最高の予測可能性を獲得し,相互作用構造や隠れ状態をより解釈可能なものにする。
  論文  参考訳（メタデータ） (2023-10-23T18:10:22Z)
• Neural Bounding [12.58643866322302]
  ニューラルネットワークを境界体積として利用する方法について検討する。 私たちのキーとなる観察は、空間を自由あるいは占有に分類する学習の課題として、バウンディングを再定義できるということです。 我々の神経束縛は、従来の方法よりも桁違いに偽陽性を生じさせることが示される。
  論文  参考訳（メタデータ） (2023-10-10T17:50:09Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Neural Random Projection: From the Initial Task To the Input Similarity Problem [0.0]
  ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。 提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズを大幅に削減する。 実験の結果,提案手法は入力類似性タスクにおける競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-10-09T13:20:24Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。