論文の概要: Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory

• arxiv url: http://arxiv.org/abs/2608.01947v1
• Date: Mon, 03 Aug 2026 09:20:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.464713
• Title: Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory
• Title（参考訳）: 連続作業記憶のための低ランクスロー多様体の分割正規化形状
• Abstract要約: 時間変化入力下での多様体の破砕を防止するためには,分割正規化が数学的に不可欠であることを示す。 その結果,分割正規化は高忠実度連続表現を学習するための重要な計算機構であることがわかった。
• 参考スコア（独自算出の注目度）: 6.1311571881384745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to robustly maintain and update continuous variables is a hallmark of working memory. While classical continuous attractor networks suffer from severe fine-tuning fragility, standard artificial recurrent neural networks (RNNs) like GRUs and LSTMs typically fail to stably learn continuous manifolds, instead shattering the state space into discretized point attractors. To bridge this gap, we draw inspiration from divisive normalization, a canonical neural computation widely observed across cortical circuits, and propose the Recurrent Divisive Normalization Network (RDNN), a minimal and algebraically isolated model of dynamic division. Through dynamical systems analysis on canonical working memory tasks, we demonstrate that this biophysical constraint allows the network to converge to robust, high-fidelity slow manifolds. Furthermore, we analyze the gradient dynamics of divisive normalization during Backpropagation Through Time (BPTT), showing that it introduces an activity-dependent local gradient scaling. This scaling dampens parameter updates in highly active regimes, which empirically aligns with a significant self-compression of the network's effective rank, confining the recurrent dynamics to a tight, low-dimensional subspace while avoiding the optimization pathologies associated with explicit low-rank factorization. Finally, ablations demonstrate that while subtractive inhibition can maintain static memories, divisive normalization is mathematically essential to prevent manifold shattering under time-varying inputs. Our findings identify divisive normalization not merely as a biological artifact, but as a critical computational mechanism for learning high-fidelity continuous representations.
• Abstract（参考訳）: 連続変数を堅牢にメンテナンスし、更新する能力は、ワーキングメモリの目印です。 古典的な連続アトラクタネットワークは厳しい微調整の脆弱さに悩まされているが、GRUやLSTMのような標準的な人工リカレントニューラルネットワーク(RNN)は、安定して連続多様体を学習せず、状態空間を離散化されたポイントアトラクタに分解する。 このギャップを埋めるために、分数正規化(divisive normalization)からインスピレーションを得て、皮質回路全体で広く観測される正準ニューラル計算(canonical neural computing)を行い、動的除算の最小かつ代数的に孤立したモデルであるリカレント除数正規化ネットワーク(Recurrent Divisive Normalization Network,RDNN)を提案する。 標準的な作業メモリタスクの力学系解析を通じて、この生体物理学的制約により、ネットワークは頑健で高忠実な遅い多様体に収束できることを示した。 さらに、BPTT(Back Proagation Through Time)における分数正規化の勾配ダイナミクスを解析し、活動依存性の局所勾配スケーリングを導入することを示した。 このスケーリングは、高度にアクティブな状態におけるパラメータの更新を阻害し、これはネットワークの有効ランクの顕著な自己圧縮と経験的に整合し、繰り返しのダイナミクスを厳密で低次元の部分空間に収束させながら、明示的な低階分解に関連する最適化パスを回避する。 最後に、減算的阻害は静的記憶を維持することができるが、時変入力下での多様体の破砕を防ぐために、除算正規化は数学的に不可欠であることを示す。 本研究は, 生物学的アーティファクトだけでなく, 高忠実度連続表現を学習するための重要な計算機構として, 分割正規化を同定した。

関連論文リスト

• Multi-Timescale Conductance Spiking Networks: A Sparse, Gradient-Trainable Framework with Rich Firing Dynamics for Enhanced Temporal Processing [0.20240089219927163]
  スパイクニューラルネットワーク(SNN)は、時間的にリッチなタスクに対して、低消費電力のイベント駆動型計算を約束する。 電流電圧曲線の形状からニューラルダイナミクスが出現する勾配学習可能なフレームワークであるマルチタイムコンダクタンススパイクネットワークを導入する。 我々は、これらの微分可能力学の離散時間定式化を導出し、代理次数近似を使わずに時間を通して直接の逆伝播を可能にする。
  論文  参考訳（メタデータ） (2026-05-12T09:22:45Z)
• Local Truncation Error-Guided Neural ODEs for Large Scale Traffic Forecasting [26.116856080963966]
  局所トラニケーション誤差誘導型ニューラルネットワーク(LTE-ODE) 本アーキテクチャは安定領域における高精度連続ODE進化を良好に保存する。 LTE-ODEは、複数の大規模ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-05T05:46:00Z)
• Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation [67.69345363409835]
  スパイキングニューラルネットワーク(SNN)は、時間的処理に自然に適していると考えられており、膜電位の伝播は、コア時間的モデリングメカニズムとして広く見なされている。 我々は, 膜伝播を段階的に段階的に除去する非ステートフル(NS)モデルの設計を行った。
  論文  参考訳（メタデータ） (2025-12-05T07:05:53Z)
• Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
  我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。 そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T22:28:34Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Temporal Reversal Regularization for Spiking Neural Networks: Hybrid Spatio-Temporal Invariance for Generalization [3.7748662901422807]
  スパイキングニューラルネットワーク(SNN)は、超低消費電力コンピューティングパラダイムとして広く注目を集めている。 近年の研究では、SNNは過度なオーバーフィッティングに悩まされ、一般化性能が制限されていることが示されている。 トレーニング中のオーバーフィッティングを緩和し,SNNの一般化を容易にするため, 簡易かつ効果的な時間逆正則化を提案する。
  論文  参考訳（メタデータ） (2024-08-17T06:23:38Z)
• Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
  動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。 時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。 STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-03-14T02:26:10Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。