論文の概要: Similarity Matching Networks: Hebbian Learning and Convergence Over Multiple Time Scales

• arxiv url: http://arxiv.org/abs/2506.06134v1
• Date: Fri, 06 Jun 2025 14:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.522865
• Title: Similarity Matching Networks: Hebbian Learning and Convergence Over Multiple Time Scales
• Title（参考訳）: 類似性マッチングネットワーク:複数時間スケールでのヘビの学習と収束
• Authors: Veronica Centorrino, Francesco Bullo, Giovanni Russo,
• Abstract要約: 本研究では,主部分空間投影のための固有性マッチングネットワークの検討と解析を行う。 マルチレベル最適化フレームワークを利用することで、オフライン環境でのダイナミクスの収束を証明できる。
• 参考スコア（独自算出の注目度）: 5.093257685701887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A recent breakthrough in biologically-plausible normative frameworks for dimensionality reduction is based upon the similarity matching cost function and the low-rank matrix approximation problem. Despite clear biological interpretation, successful application in several domains, and experimental validation, a formal complete convergence analysis remains elusive. Building on this framework, we consider and analyze a continuous-time neural network, the \emph{similarity matching network}, for principal subspace projection. Derived from a min-max-min objective, this biologically-plausible network consists of three coupled dynamics evolving at different time scales: neural dynamics, lateral synaptic dynamics, and feedforward synaptic dynamics at the fast, intermediate, and slow time scales, respectively. The feedforward and lateral synaptic dynamics consist of Hebbian and anti-Hebbian learning rules, respectively. By leveraging a multilevel optimization framework, we prove convergence of the dynamics in the offline setting. Specifically, at the first level (fast time scale), we show strong convexity of the cost function and global exponential convergence of the corresponding gradient-flow dynamics. At the second level (intermediate time scale), we prove strong concavity of the cost function and exponential convergence of the corresponding gradient-flow dynamics within the space of positive definite matrices. At the third and final level (slow time scale), we study a non-convex and non-smooth cost function, provide explicit expressions for its global minima, and prove almost sure convergence of the corresponding gradient-flow dynamics to the global minima. These results rely on two empirically motivated conjectures that are supported by thorough numerical experiments. Finally, we validate the effectiveness of our approach via a numerical example.
• Abstract（参考訳）: 生物学的に証明可能な次元還元の規範的枠組みの最近のブレークスルーは、類似性マッチングコスト関数と低ランク行列近似問題に基づいている。 明確な生物学的解釈、いくつかの領域における成功例、実験的な検証にもかかわらず、正式な完全収束解析はいまだ解明されていない。 この枠組みに基づいて、主部分空間投影のための連続時間ニューラルネットワークである \emph{similarity matching network} を検討、分析する。 この生物学的に証明可能なネットワークは、ニューラルダイナミクス、側方シナプス力学、フィードフォワードシナプス力学の3つの結合力学からなり、それぞれ高速、中速、低速の3つの時間スケールで進化する。 フィードフォワードとサイドシナプスのダイナミクスはそれぞれヘビーンの学習規則と反ヘビーンの学習規則で構成されている。 マルチレベル最適化フレームワークを利用することで、オフライン環境でのダイナミクスの収束を証明できる。 具体的には、第1レベル(高速時間スケール)において、コスト関数の強い凸性と対応する勾配-流れの大域的指数収束を示す。 第2レベル(中間時間スケール)では、正定行列の空間内でのコスト関数の強い凹みと対応する勾配流の指数収束が証明される。 第3レベルと最終レベル(スロータイムスケール)では、非凸かつ非滑らかなコスト関数を研究し、その大域的ミニマに対して明示的な表現を提供し、対応する勾配流のダイナミクスを大域的ミニマへほぼ確実に収束させる。 これらの結果は、徹底的な数値実験によって支持される2つの経験的動機付き予想に依存している。 最後に,本手法の有効性を数値的な例を用いて検証する。

関連論文リスト

• Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem [22.648448759446907]
  多くの学習課題において,低ランク因子化がビルディングブロックとして機能することを示す。 ダイナミクスの局所的な探索部分に関連する軌跡の形状に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-11-24T20:05:10Z)
• Dynamic metastability in the self-attention model [22.689695473655906]
  本稿では,トランスフォーマーの玩具モデルとして機能する自己認識モデル(単位球上の相互作用粒子系)について考察する。 我々は[GLPR23]で予想される動的メタスタビリティの出現を証明する。 適切な時間再スケーリングの下では、エネルギーは有限時間で世界最大に達し、階段の形状を持つことを示す。
  論文  参考訳（メタデータ） (2024-10-09T12:50:50Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。