Fugu-MT 論文翻訳(概要): Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity

論文の概要: Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity

arxiv url: http://arxiv.org/abs/2309.04030v1
Date: Thu, 7 Sep 2023 21:57:15 GMT
ステータス: 処理完了
システム内更新日: 2023-09-11 16:35:41.726756
Title: Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity
Title（参考訳）: リニアライズリカレントニューラルネットワーク(RNN)のポイントワイド非線形性前後に関する簡単な技術的考察
Authors: Marino Pagan, Adrian Valente, Srdjan Ostojic, and Carlos D. Brody
Abstract要約: リカレントニューラルネットワーク(RNN)の力学の線形化は、しばしばその特性を研究するために用いられる。この簡潔で非公式な技術的ノートは、2つの線形化の関係を記述している。
参考スコア（独自算出の注目度）: 2.949890760187898
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Linearization of the dynamics of recurrent neural networks (RNNs) is often used to study their properties. The same RNN dynamics can be written in terms of the ``activations" (the net inputs to each unit, before its pointwise nonlinearity) or in terms of the ``activities" (the output of each unit, after its pointwise nonlinearity); the two corresponding linearizations are different from each other. This brief and informal technical note describes the relationship between the two linearizations, between the left and right eigenvectors of their dynamics matrices, and shows that some context-dependent effects are readily apparent under linearization of activity dynamics but not linearization of activation dynamics.
Abstract（参考訳）: リカレントニューラルネットワーク(RNN)の力学の線形化は、しばしばその特性を研究するために用いられる。同じrnnダイナミクスは、``アクティベーション(各ユニットへのネット入力、その点非線形性)、または ``activities"(各ユニットの出力、その点非線形性の後)という用語で書くことができ、対応する2つの線形化は互いに異なる。この簡潔で非公式な技術ノートは、動力学行列の左右の固有ベクトル間の2つの線形化の関係を記述しており、いくつかの文脈依存効果はアクティビティダイナミクスの線形化下では容易に明らかであるが、活性化ダイナミクスの線形化ではないことを示している。

関連論文リスト

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文参考訳（メタデータ） (2024-08-20T15:04:37Z)
The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks [0.0]
非線形シナリオではNTKの視点が不足していることを示す。線形および非線形の両方の場合において,そのような手法の収束保証について検討する。
論文参考訳（メタデータ） (2024-02-06T10:24:36Z)
Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems [1.0878040851638]
本稿では,パラメータの動的構造を線形に表示する勾配降下に基づく学習アルゴリズムについて述べる。この明らかな線型性は、仮説関数の第一階微分と高階微分の間の弱い相関によるものである。線形性と弱相関の関係を爆発させることにより,勾配降下の訓練軌道中に観測された線形性から偏差を導出する。
論文参考訳（メタデータ） (2024-01-08T16:44:23Z)
SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。我々のモデルは最先端のベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2023-08-25T07:15:58Z)
Learning Linear Embeddings for Non-Linear Network Dynamics with Koopman Message Passing [0.0]
我々は、クープマン作用素理論とメッセージパッシングネットワークに基づく新しいアプローチを提案する。動的システムに対する線形表現は,任意の段階において世界規模で有効である。本手法で得られた線形化は,現在の最先端技術よりも数桁優れたネットワーク力学問題に対して予測を行う。
論文参考訳（メタデータ） (2023-05-15T23:00:25Z)
Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文参考訳（メタデータ） (2022-09-17T17:02:35Z)
Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
論文参考訳（メタデータ） (2022-07-06T09:43:03Z)
Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文参考訳（メタデータ） (2022-03-22T13:09:17Z)
Nonlinear Landauer formula: Nonlinear response theory of disordered and topological materials [5.33024001730262]
ランダウアーの公式を非線形応答系に拡張する。線形コンダクタンスと伝送確率は直接関係するが, 非線形コンダクタンスはエネルギーに関する微分によって与えられる。我々の研究は、線形応答状態を超えた量子物理学の新しい道を開く。
論文参考訳（メタデータ） (2021-10-15T18:25:26Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。