論文の概要: Associative memory and dead neurons
- arxiv url: http://arxiv.org/abs/2410.13866v1
- Date: Wed, 02 Oct 2024 00:25:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-27 06:14:50.214518
- Title: Associative memory and dead neurons
- Title（参考訳）: 連想記憶と死ニューロン
- Authors: Vladimir Fanaskov, Ivan Oseledets,
- Abstract要約: 死んだ神経細胞の問題に弱いエネルギー関数について検討する。
これらの平坦な領域では、エネルギー関数だけですべての自由度を完全に決定することはできない。
我々は、死んだ神経細胞に対応する平坦な方向による問題を解決する方法を示す。
- 参考スコア（独自算出の注目度）: 4.347494885647007
- License:
- Abstract: In "Large Associative Memory Problem in Neurobiology and Machine Learning," Dmitry Krotov and John Hopfield introduced a general technique for the systematic construction of neural ordinary differential equations with non-increasing energy or Lyapunov function. We study this energy function and identify that it is vulnerable to the problem of dead neurons. Each point in the state space where the neuron dies is contained in a non-compact region with constant energy. In these flat regions, energy function alone does not completely determine all degrees of freedom and, as a consequence, can not be used to analyze stability or find steady states or basins of attraction. We perform a direct analysis of the dynamical system and show how to resolve problems caused by flat directions corresponding to dead neurons: (i) all information about the state vector at a fixed point can be extracted from the energy and Hessian matrix (of Lagrange function), (ii) it is enough to analyze stability in the range of Hessian matrix, (iii) if steady state touching flat region is stable the whole flat region is the basin of attraction. The analysis of the Hessian matrix can be complicated for realistic architectures, so we show that for a slightly altered dynamical system (with the same structure of steady states), one can derive a diverse family of Lyapunov functions that do not have flat regions corresponding to dead neurons. In addition, these energy functions allow one to use Lagrange functions with Hessian matrices that are not necessarily positive definite and even consider architectures with non-symmetric feedforward and feedback connections.
- Abstract（参考訳）: Dmitry Krotov と John Hopfield は "Large Associative Memory Problem in Neurobiology and Machine Learning" の中で、非増加エネルギーあるいはリアプノフ関数を持つニューラル常微分方程式の体系的構築のための一般的な手法を紹介した。
我々は、このエネルギー機能を研究し、死んだ神経細胞の問題に弱いことを確認した。
ニューロンが死ぬ状態空間の各点は、一定エネルギーの非コンパクト領域に含まれる。
これらの平坦な領域では、エネルギー関数だけですべての自由度を決定できないため、安定性の分析や定常状態の発見やアトラクションの盆地の発見には使用できない。
我々は、力学系の直接解析を行い、死んだニューロンに対応する平坦な方向による問題の解決方法を示す。
i) 固定点における状態ベクトルに関するすべての情報は、エネルギーと(ラグランジュ関数の)ヘッセン行列から抽出することができる。
(ii)ヘッセン行列の範囲の安定性を解析するのに十分である。
三 平地に触れる定常状態が安定している場合、平地全体がアトラクションの盆地である。
ヘッセン行列の解析は現実的なアーキテクチャでは複雑であるため、(定常状態の同じ構造を持つ)わずかに変化した力学系に対して、死んだニューロンに対応する平坦な領域を持たない多種多様なリャプノフ函数の族を導出できることが示される。
さらに、これらのエネルギー関数は必ずしも正の定値でないヘッセン行列を持つラグランジュ函数を使用でき、非対称フィードフォワードおよびフィードバック接続を持つアーキテクチャを考えることもできる。
関連論文リスト
- Sparse identification of quasipotentials via a combined data-driven method [4.599618895656792]
我々は、ニューラルネットワークとスパース回帰アルゴリズムという2つのデータ駆動手法を組み合わせて機械学習を活用し、擬ポテンシャル関数の記号表現を得る。
提案手法は, 未知の正準ポテンシャルモデルと, ナノメカニカル共振器のダイナミックスに対して, 擬似準ポテンシャル方程式を求めるものである。
論文 参考訳（メタデータ） (2024-07-06T11:27:52Z) - Neural Pfaffians: Solving Many Many-Electron Schrödinger Equations [58.130170155147205]
神経波関数は、計算コストが高いにもかかわらず、多電子系の基底状態の近似において前例のない精度を達成した。
近年の研究では、個々の問題を個別に解くのではなく、様々な構造や化合物にまたがる一般化波動関数を学習することでコストを下げることが提案されている。
この研究は、分子間の一般化に適した過度にパラメータ化され、完全に学習可能なニューラルウェーブ関数を定義することで、この問題に取り組む。
論文 参考訳（メタデータ） (2024-05-23T16:30:51Z) - An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos [2.5690340428649328]
神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。
力学は非線形であり、特に非勾配、すなわち駆動力はポテンシャルの勾配として書けない。
論文 参考訳（メタデータ） (2024-01-18T14:25:32Z) - Diagnosing non-Hermitian Many-Body Localization and Quantum Chaos via Singular Value Decomposition [0.0]
相互作用する量子スピン鎖の強い局所障害は、非局在化された固有モードを局所化された固有状態に変換する。
これは、非局在化相はカオスであり、局所化相は可積分である。
我々は、ランダムな散逸(ランダムな乱れなしで)が、他の可積分系においてカオス的あるいは局所的な振る舞いを誘発するかどうかを問う。
論文 参考訳（メタデータ） (2023-11-27T19:00:01Z) - Over-Parameterization Exponentially Slows Down Gradient Descent for
Learning a Single Neuron [49.45105570960104]
ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。
これら2つの境界は、収束率の正確な特徴づけを与える。
このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
論文 参考訳（メタデータ） (2023-02-20T15:33:26Z) - Nonlinear controllability and function representation by neural
stochastic differential equations [11.764601181046496]
ニューラルSDEが初期状態の非線形機能を実現する能力を示す。
このステアリングを達成するのに必要な最小限の制御労力について、上下境界を導出する。
論文 参考訳（メタデータ） (2022-12-01T22:25:52Z) - A Step Towards Uncovering The Structure of Multistable Neural Networks [1.14219428942199]
本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。
活性化関数は非平滑なヘビサイドステップ関数によって単純化される。
マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
論文 参考訳（メタデータ） (2022-10-06T22:54:17Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。
これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。
我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
論文 参考訳（メタデータ） (2021-09-27T17:45:42Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳（メタデータ） (2021-08-23T04:22:58Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。