論文の概要: Learning reveals invisible structure in low-rank RNNs

• arxiv url: http://arxiv.org/abs/2605.04115v1
• Date: Tue, 05 May 2026 07:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.447798
• Title: Learning reveals invisible structure in low-rank RNNs
• Title（参考訳）: 学習は低ランクRNNで見えない構造を明らかにする
• Authors: Yoav Ger, Omri Barak,
• Abstract要約: 神経系の学習は、基礎となる行動の表現を形作るシナプス的な変化から生じる。 低ランクのフレームワークをアクティビティから学習へと拡張し、重なり空間を小さくすることで、勾配-輝線力学を直接導出する。 学習は,機能的に等価なネットワーク間の接続性の違いを明らかにする摂動として機能することを示す。
• 参考スコア（独自算出の注目度）: 2.8933605229876664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning in neural systems arises from synaptic changes that reshape the representations underlying behavior. While low-rank recurrent neural networks (RNNs) have emerged as a powerful framework for linking connectivity to function, a theoretical understanding of their learning process remains elusive. Here, we extend the low-rank framework from activity to learning by deriving gradient-descent dynamics directly in a reduced overlap space. We formulate a closed-form, low-dimensional system of ODEs that governs learning in this space, exact for linear RNNs and asymptotically exact for nonlinear RNNs in the large-$N$ Gaussian limit. Central to our analysis is a distinction between two classes of overlaps: loss-visible overlaps, which fully determine network activity, output, and loss, and loss-invisible overlaps, which do not affect function but are required to describe learning. We illustrate the consequences of this decomposition through two phenomena. First, we show that learning can serve as a perturbation that exposes differences in connectivity between functionally equivalent networks. Second, we show that loss-invisible overlaps can act as memory variables that encode training history, and characterize the conditions under which this occurs. Finally, we present several testable predictions for biological learning experiments derived from our theory.
• Abstract（参考訳）: 神経系の学習は、基礎となる行動の表現を形作るシナプス的な変化から生じる。 低ランクリカレントニューラルネットワーク(RNN)は、接続と関数をリンクする強力なフレームワークとして登場したが、彼らの学習プロセスに関する理論的理解は、いまだ解明されていない。 そこで我々は,低ランクのフレームワークを,重なり空間の重なりを小さくすることで,運動から学習へと拡張する。 我々は、この空間における学習を支配し、線形RNNに対して完全かつ漸近的に非線型RNNに対して大きなN$ガウス極限で漸近的に正確な、閉形式で低次元のODEの系を定式化する。 我々の分析の中心は、ネットワークのアクティビティ、アウトプット、ロスを完全に決定する損失可視オーバーラップと、機能に影響しないが学習を記述するために必要となる損失可視オーバーラップの2つのクラスを区別する。 この分解の結果を2つの現象を通して説明する。 まず,機能的に等価なネットワーク間の接続性の違いを明らかにするために,学習が摂動として機能することを示す。 第二に、損失非可視オーバーラップは、トレーニング履歴を符号化し、それが起こる条件を特徴付けるメモリ変数として機能することを示す。 最後に,本理論から得られた生物学習実験の検証可能な予測について述べる。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• The Multiscale Structure of Neural Network Loss Functions: The Effect on Optimization and Origin [12.092361450994318]
  本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。 異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
  論文  参考訳（メタデータ） (2022-04-24T17:34:12Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。