論文の概要: The curious case of developmental BERTology: On sparsity, transfer
learning, generalization and the brain
- arxiv url: http://arxiv.org/abs/2007.03774v1
- Date: Tue, 7 Jul 2020 20:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:23:14.533793
- Title: The curious case of developmental BERTology: On sparsity, transfer
learning, generalization and the brain
- Title(参考訳): 発達 BERTology の興味深い事例:空間性,伝達学習,一般化,脳について
- Authors: Xin Wang
- Abstract要約: このエッセイでは,大規模言語モデルのレンズを通して,深層学習と神経科学の交点を探究する。
知覚神経生理学や認知神経生理学が効果的なディープニューラルネットワークアーキテクチャにインスピレーションを与えたのと同じように、ここでは生物学的神経開発がいかに効率的で堅牢な最適化手順を刺激するかを考察する。
- 参考スコア(独自算出の注目度): 7.33811357166334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this essay, we explore a point of intersection between deep learning and
neuroscience, through the lens of large language models, transfer learning and
network compression. Just like perceptual and cognitive neurophysiology has
inspired effective deep neural network architectures which in turn make a
useful model for understanding the brain, here we explore how biological neural
development might inspire efficient and robust optimization procedures which in
turn serve as a useful model for the maturation and aging of the brain.
- Abstract(参考訳): このエッセイでは,大きな言語モデル,伝達学習,ネットワーク圧縮のレンズを通して,ディープラーニングと神経科学の交点を探索する。
知覚的および認知的神経生理学が効果的な深層ニューラルネットワークアーキテクチャに影響を与え、脳を理解するのに有用なモデルとなっているのと同じように、ここでは生物学的な神経発達が、脳の成熟と老化に有用なモデルとなる、効率的で堅牢な最適化手順をいかに刺激するかを考察する。
関連論文リスト
- Towards a Foundation Model for Brain Age Prediction using coVariance
Neural Networks [102.75954614946258]
時間的年齢に関する脳年齢の増加は、神経変性と認知低下に対する脆弱性の増加を反映している。
NeuroVNNは、時系列年齢を予測するために、健康な人口の回帰モデルとして事前訓練されている。
NeuroVNNは、脳の年齢に解剖学的解釈性を加え、任意の脳のアトラスに従って計算されたデータセットへの転移を可能にする「スケールフリー」特性を持つ。
論文 参考訳(メタデータ) (2024-02-12T14:46:31Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳(メタデータ) (2023-10-14T23:28:48Z) - Brain-inspired learning in artificial neural networks: a review [5.064447369892274]
人工ニューラルネットワークにおける脳にインスパイアされた学習表現について概説する。
これらのネットワークの能力を高めるために, シナプス可塑性などの生物学的に妥当な機構の統合について検討する。
論文 参考訳(メタデータ) (2023-05-18T18:34:29Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge
Representation and Reasoning [11.048601659933249]
神経科学、認知科学、心理学、人工知能において、人間の脳におけるニューラルネットワークがどのように常識知識を表現するかは重要な研究トピックである。
本研究は, 個体群エンコーディングとスパイクタイミング依存的可塑性(STDP)機構をスパイクニューラルネットワークの学習に組み込む方法について検討する。
異なるコミュニティのニューロン集団は、コモンセンス知識グラフ全体を構成し、巨大なグラフがニューラルネットワークをスパイクする。
論文 参考訳(メタデータ) (2022-07-11T05:22:38Z) - An Introductory Review of Spiking Neural Network and Artificial Neural
Network: From Biological Intelligence to Artificial Intelligence [4.697611383288171]
生物学的解釈可能性を持つスパイクニューラルネットワークは、徐々に注目を集めている。
このレビューは、さまざまな研究者を惹きつけ、脳にインスパイアされた知性と人工知能の開発を進めたいと考えている。
論文 参考訳(メタデータ) (2022-04-09T09:34:34Z) - Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。
ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。
近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文 参考訳(メタデータ) (2022-03-24T21:40:04Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳(メタデータ) (2020-05-22T14:29:51Z) - A Developmental Neuro-Robotics Approach for Boosting the Recognition of
Handwritten Digits [91.3755431537592]
近年のエビデンスでは、子どもの体現戦略をシミュレーションすることで、マシンインテリジェンスも改善できることが示されている。
本稿では,発達神経ロボティクスの文脈における畳み込みニューラルネットワークモデルへの具体的戦略の適用について検討する。
論文 参考訳(メタデータ) (2020-03-23T14:55:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。