Fugu-MT 論文翻訳(概要): Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks

論文の概要: Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2011.10435v1
Date: Fri, 20 Nov 2020 14:58:47 GMT
ステータス: 処理完了
システム内更新日: 2022-09-23 06:16:57.821528
Title: Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks
Title（参考訳）: 低次元マニフォールドによる繰り返しニューラルネットワークの多重化支援
Authors: Arnaud Fanthomme (ENS Paris), R\'emi Monasson (ENS Paris)
Abstract要約: 本稿では,1つまたは複数の時間信号を統合するために訓練されたリカレントニューラルネットワークにおける学習力学と表現について検討する。線形ニューロンとReLUニューロンの両方に対して、その内部状態が活性化関数に関係したD次元多様体に近く存在することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the learning dynamics and the representations emerging in Recurrent Neural Networks trained to integrate one or multiple temporal signals. Combining analytical and numerical investigations, we characterize the conditions under which a RNN with n neurons learns to integrate D(n) scalar signals of arbitrary duration. We show, both for linear and ReLU neurons, that its internal state lives close to a D-dimensional manifold, whose shape is related to the activation function. Each neuron therefore carries, to various degrees, information about the value of all integrals. We discuss the deep analogy between our results and the concept of mixed selectivity forged by computational neuroscientists to interpret cortical recordings.
Abstract（参考訳）: 1つまたは複数の時間的信号を統合するように訓練されたリカレントニューラルネットワークに出現する学習ダイナミクスと表現について検討する。解析的および数値的な研究を組み合わせることで、nニューロンを持つRNNが任意の期間のD(n)スカラー信号を統合することを学習する条件を特徴づける。線形ニューロンとReLUニューロンの両方に対して、その内部状態が活性化関数に関係したD次元多様体に近く存在することを示す。したがって、各ニューロンは全ての積分の値に関する情報を様々な程度に伝達する。計算神経科学者による皮質記録の解釈のための混合選択性の概念と結果の深い類似性について論じる。

関連論文リスト

Single-neuron deep generative model uncovers underlying physics of neuronal activity in Ca imaging data [0.0]
自己回帰変分オートエンコーダ(AVAE)を用いた単一ニューロン表現学習のための新しいフレームワークを提案する。我々のアプローチでは、スパイク推論アルゴリズムを必要とせずに、個々のニューロンの信号を縮小次元空間に埋め込む。 AVAEは、より情報的で差別的な潜在表現を生成することによって、従来の線形手法よりも優れている。
論文参考訳（メタデータ） (2025-01-24T16:33:52Z)
CREIMBO: Cross-Regional Ensemble Interactions in Multi-view Brain Observations [3.3713037259290255]
現在の分析手法は、しばしばそのようなデータの豊かさを活かさない。 CREIMBOは、グラフ駆動辞書学習を通じて、セッションごとのニューラルアンサンブルの隠れた構成を特定する。合成データ中の真の成分を回収するCREIMBOの能力を実証する。
論文参考訳（メタデータ） (2024-05-27T17:48:32Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
論文参考訳（メタデータ） (2022-10-06T18:37:49Z)
Neural Integro-Differential Equations [2.001149416674759]
積分微分方程式 (IDE) は、積分成分と微分成分の両方を構成する微分方程式の一般化である。 NIDEは、ニューラルネットワークを使用してIDEの通常のコンポーネントと統合コンポーネントをモデル化するフレームワークである。 NIDEは力学をマルコフ成分と非マルコフ成分に分解できることを示す。
論文参考訳（メタデータ） (2022-06-28T20:39:35Z)
Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic network [52.77024349608834]
情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
論文参考訳（メタデータ） (2021-08-31T16:13:15Z)
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文参考訳（メタデータ） (2021-04-22T04:01:32Z)
The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文参考訳（メタデータ） (2020-10-28T23:11:37Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis [11.85489505372321]
BOLD時系列の短いサブシーケンスに基づいて、時空間グラフ畳み込みネットワーク(ST-GCN)を訓練し、機能接続の非定常特性をモデル化する。 St-GCNはBOLD信号に基づいて性別や年齢を予測する一般的な手法よりもはるかに正確である。
論文参考訳（メタデータ） (2020-03-24T01:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。