論文の概要: A unified theory of feature learning in RNNs and DNNs

• arxiv url: http://arxiv.org/abs/2602.15593v1
• Date: Tue, 17 Feb 2026 14:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.08551
• Title: A unified theory of feature learning in RNNs and DNNs
• Title（参考訳）: RNNとDNNにおける特徴学習の統一理論
• Authors: Jan P. Bauer, Kirsten Fischer, Moritz Helias, Agostina Palmigiano,
• Abstract要約: リカレントとディープニューラルネットワーク(RNN/DNN)は、機械学習の基盤となるアーキテクチャである。 この構造的類似性は、これらのネットワークが示す異なる機能的特性にどのように適合するのか? 我々は,RNNとDNNの共通平均場理論を表現カーネルの観点で開発する。
• 参考スコア（独自算出の注目度）: 2.5040739362611952
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recurrent and deep neural networks (RNNs/DNNs) are cornerstone architectures in machine learning. Remarkably, RNNs differ from DNNs only by weight sharing, as can be shown through unrolling in time. How does this structural similarity fit with the distinct functional properties these networks exhibit? To address this question, we here develop a unified mean-field theory for RNNs and DNNs in terms of representational kernels, describing fully trained networks in the feature learning ($μ$P) regime. This theory casts training as Bayesian inference over sequences and patterns, directly revealing the functional implications induced by the RNNs' weight sharing. In DNN-typical tasks, we identify a phase transition when the learning signal overcomes the noise due to randomness in the weights: below this threshold, RNNs and DNNs behave identically; above it, only RNNs develop correlated representations across timesteps. For sequential tasks, the RNNs' weight sharing furthermore induces an inductive bias that aids generalization by interpolating unsupervised time steps. Overall, our theory offers a way to connect architectural structure to functional biases.
• Abstract（参考訳）: リカレントとディープニューラルネットワーク(RNN/DNN)は、機械学習の基盤となるアーキテクチャである。 注目すべきは、RNNがDNNと違うのは、ウェイトシェアリングのみであることだ。 この構造的類似性は、これらのネットワークが示す異なる機能的特性にどのように適合するのか? この問題に対処するため、我々はRNNとDNNの統一平均場理論を表現カーネルの観点から開発し、特徴学習(μ$P)方式で完全に訓練されたネットワークを記述する。 この理論は、配列やパターンに対するベイズ的推論として訓練を行い、RNNの重み付けによって引き起こされる機能的影響を直接明らかにした。 DNNの典型的なタスクでは、学習信号が重みのランダム性によってノイズを克服するときの位相遷移を同定する。 逐次的なタスクでは、RNNの重み共有はさらに、教師なしの時間ステップを補間することによって一般化を助ける誘導バイアスを誘導する。 全体として、私たちの理論はアーキテクチャ構造と機能バイアスを結びつける方法を提供する。

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。 下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。 我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
  論文  参考訳（メタデータ） (2024-03-18T17:32:23Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
  我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。 非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。 我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
  論文  参考訳（メタデータ） (2022-10-25T17:22:31Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• A Time Encoding approach to training Spiking Neural Networks [3.655021726150368]
  スパイキングニューラルネットワーク(SNN)の人気が高まっている。 本稿では、時間符号化理論を用いて、SNNの理解と学習を支援する余分なツールを提供する。
  論文  参考訳（メタデータ） (2021-10-13T14:07:11Z)
• A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs [2.28438857884398]
  無限幅/チャネル制限のディープニューラルネットワーク(DNN)が最近注目を集めている。 理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。 ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。
  論文  参考訳（メタデータ） (2021-06-08T05:20:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。