論文の概要: Synaptic Weight Distributions Depend on the Geometry of Plasticity
- arxiv url: http://arxiv.org/abs/2305.19394v1
- Date: Tue, 30 May 2023 20:16:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 19:48:19.409606
- Title: Synaptic Weight Distributions Depend on the Geometry of Plasticity
- Title（参考訳）: シナプスの重量分布は可塑性の幾何学に依存する
- Authors: Roman Pogodin, Jonathan Cornford, Arna Ghosh, Gauthier Gidel,
Guillaume Lajoie, Blake Richards
- Abstract要約: シナプスの重みの分布はシナプスの可塑性の幾何学に依存することを示す。
異なるシナプス幾何学の実験的なテストが可能である。
- 参考スコア（独自算出の注目度）: 15.038414853901386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most learning algorithms in machine learning rely on gradient descent to
adjust model parameters, and a growing literature in computational neuroscience
leverages these ideas to study synaptic plasticity in the brain. However, the
vast majority of this work ignores a critical underlying assumption: the choice
of distance for synaptic changes (i.e. the geometry of synaptic plasticity).
Gradient descent assumes that the distance is Euclidean, but many other
distances are possible, and there is no reason that biology necessarily uses
Euclidean geometry. Here, using the theoretical tools provided by mirror
descent, we show that, regardless of the loss being minimized, the distribution
of synaptic weights will depend on the geometry of synaptic plasticity. We use
these results to show that experimentally-observed log-normal weight
distributions found in several brain areas are not consistent with standard
gradient descent (i.e. a Euclidean geometry), but rather with non-Euclidean
distances. Finally, we show that it should be possible to experimentally test
for different synaptic geometries by comparing synaptic weight distributions
before and after learning. Overall, this work shows that the current paradigm
in theoretical work on synaptic plasticity that assumes Euclidean synaptic
geometry may be misguided and that it should be possible to experimentally
determine the true geometry of synaptic plasticity in the brain.
- Abstract（参考訳）: 機械学習のほとんどの学習アルゴリズムは、モデルパラメータを調整するために勾配降下に依存しており、計算神経科学の文献はこれらのアイデアを活用して脳のシナプス可塑性を研究する。
しかし、この研究の大部分はシナプス変化(すなわちシナプス可塑性の幾何学)のための距離の選択という重要な前提を無視している。
勾配降下は距離がユークリッドであると仮定するが、他の多くの距離は可能であり、生物学が必ずしもユークリッド幾何学を使う理由はない。
ここでは, 鏡面降下による理論的な道具を用いて, 損失が最小化されるにも拘わらず, シナプス重みの分布はシナプス可塑性の幾何学に依存することを示した。
これらの結果を用いて実験的に観測された対数正規重み分布が標準勾配降下(ユークリッド幾何学)と一致せず、非ユークリッド距離であることを示す。
最後に,学習前後のシナプス重み分布を比較することにより,異なるシナプスジオメトリを実験的にテストできることを示す。
この研究は、ユークリッドのシナプス幾何学を仮定するシナプス可塑性に関する理論研究の現在のパラダイムが誤解されている可能性を示し、脳のシナプス可塑性の真の幾何学を実験的に決定できることを示唆している。
関連論文リスト
- What You See is Not What You Get: Neural Partial Differential Equations and The Illusion of Learning [0.0]
科学機械学習のための微分可能プログラミングは、第一原理物理学から派生したニューラルネットワークをPDE内に組み込む。
コミュニティでは、NeuralPDEはブラックボックスモデルよりも信頼性が高く、一般化可能であると広く仮定されている。
我々は、NeuralPDEと差別化可能なプログラミングモデルは、PDEシミュレーションで私たちが考えているように物理的に解釈可能であるか?
論文 参考訳（メタデータ） (2024-11-22T18:04:46Z) - Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive
Learning [69.6810940330906]
高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - Phenomenological modeling of diverse and heterogeneous synaptic dynamics
at natural density [0.0]
この章は、計算神経科学の観点から、脳のシナプス的構造に光を当てている。
これは、数学的モデルにおける経験的データの説明方法、ソフトウェアでそれらを実装し、実験を反映するシミュレーションを実行する方法について、序文の概要を提供する。
論文 参考訳（メタデータ） (2022-12-10T19:24:58Z) - Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。
ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。
我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
論文 参考訳（メタデータ） (2022-10-15T08:01:08Z) - Does the Brain Infer Invariance Transformations from Graph Symmetries? [0.0]
知覚的変化の下での自然物体の不変性は、シナプス接続のグラフの対称性によって脳内でコード化される可能性がある。
このグラフは、生物学的に妥当なプロセスにおいて、異なる知覚的モダリティをまたいだ教師なしの学習を通じて確立することができる。
論文 参考訳（メタデータ） (2021-11-11T12:35:13Z) - Learning a Single Neuron with Bias Using Gradient Descent [53.15475693468925]
単一ニューロンをバイアス項で学習する基本的な問題について検討する。
これはバイアスのないケースとは大きく異なり、より難しい問題であることを示す。
論文 参考訳（メタデータ） (2021-06-02T12:09:55Z) - Identifying the latent space geometry of network models through analysis
of curvature [7.644165047073435]
本稿では,可換空間の経験的に関連するクラスから多様体の種類,次元,曲率を一貫して推定する手法を提案する。
私たちのコアインサイトは、このグラフを、シリック間の結びつきに基づく騒々しい距離行列として表現することで実現します。
論文 参考訳（メタデータ） (2020-12-19T00:35:29Z) - Natural-gradient learning for spiking neurons [0.0]
シナプス可塑性に関する多くの規範的理論では、重みの更新は、選択された重みのパラメトリゼーションに暗黙的に依存する。
可塑性は自然勾配に従えばよいと提案する。
論文 参考訳（メタデータ） (2020-11-23T20:26:37Z) - Disentangling by Subspace Diffusion [72.1895236605335]
データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。
我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
論文 参考訳（メタデータ） (2020-06-23T13:33:19Z) - Geometry of Similarity Comparisons [51.552779977889045]
空間形式の順序容量は、その次元と曲率の符号に関係していることを示す。
さらに重要なことは、類似性グラフ上で定義された順序拡散確率変数の統計的挙動が、その基礎となる空間形式を特定するのに利用できることである。
論文 参考訳（メタデータ） (2020-06-17T13:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。