Fugu-MT 論文翻訳(概要): The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain

論文の概要: The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain

arxiv url: http://arxiv.org/abs/2007.03774v1
Date: Tue, 7 Jul 2020 20:16:30 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 18:23:14.533793
Title: The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain
Title（参考訳）: 発達 BERTology の興味深い事例:空間性,伝達学習,一般化,脳について
Authors: Xin Wang
Abstract要約: このエッセイでは,大規模言語モデルのレンズを通して,深層学習と神経科学の交点を探究する。知覚神経生理学や認知神経生理学が効果的なディープニューラルネットワークアーキテクチャにインスピレーションを与えたのと同じように、ここでは生物学的神経開発がいかに効率的で堅牢な最適化手順を刺激するかを考察する。
参考スコア（独自算出の注目度）: 7.33811357166334
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this essay, we explore a point of intersection between deep learning and neuroscience, through the lens of large language models, transfer learning and network compression. Just like perceptual and cognitive neurophysiology has inspired effective deep neural network architectures which in turn make a useful model for understanding the brain, here we explore how biological neural development might inspire efficient and robust optimization procedures which in turn serve as a useful model for the maturation and aging of the brain.
Abstract（参考訳）: このエッセイでは,大きな言語モデル,伝達学習,ネットワーク圧縮のレンズを通して,ディープラーニングと神経科学の交点を探索する。知覚的および認知的神経生理学が効果的な深層ニューラルネットワークアーキテクチャに影響を与え、脳を理解するのに有用なモデルとなっているのと同じように、ここでは生物学的な神経発達が、脳の成熟と老化に有用なモデルとなる、効率的で堅牢な最適化手順をいかに刺激するかを考察する。

関連論文リスト

Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文参考訳（メタデータ） (2024-10-25T13:15:17Z)
Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文参考訳（メタデータ） (2024-07-05T14:11:28Z)
Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文参考訳（メタデータ） (2023-12-01T05:20:57Z)
A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文参考訳（メタデータ） (2023-10-14T23:28:48Z)
Brain-inspired learning in artificial neural networks: a review [5.064447369892274]
人工ニューラルネットワークにおける脳にインスパイアされた学習表現について概説する。これらのネットワークの能力を高めるために, シナプス可塑性などの生物学的に妥当な機構の統合について検討する。
論文参考訳（メタデータ） (2023-05-18T18:34:29Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
An Introductory Review of Spiking Neural Network and Artificial Neural Network: From Biological Intelligence to Artificial Intelligence [4.697611383288171]
生物学的解釈可能性を持つスパイクニューラルネットワークは、徐々に注目を集めている。このレビューは、さまざまな研究者を惹きつけ、脳にインスパイアされた知性と人工知能の開発を進めたいと考えている。
論文参考訳（メタデータ） (2022-04-09T09:34:34Z)
Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文参考訳（メタデータ） (2022-03-24T21:40:04Z)
A Developmental Neuro-Robotics Approach for Boosting the Recognition of Handwritten Digits [91.3755431537592]
近年のエビデンスでは、子どもの体現戦略をシミュレーションすることで、マシンインテリジェンスも改善できることが示されている。本稿では,発達神経ロボティクスの文脈における畳み込みニューラルネットワークモデルへの具体的戦略の適用について検討する。
論文参考訳（メタデータ） (2020-03-23T14:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。