論文の概要: Algorithm Development in Neural Networks: Insights from the Streaming Parity Task

• arxiv url: http://arxiv.org/abs/2507.09897v2
• Date: Wed, 06 Aug 2025 13:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:09.29201
• Title: Algorithm Development in Neural Networks: Insights from the Streaming Parity Task
• Title（参考訳）: ニューラルネットワークにおけるアルゴリズム開発:ストリーミングパーティタスクからの考察
• Authors: Loek van Rossem, Andrew M. Saxe,
• Abstract要約: ストリーミングパリティタスクでトレーニングされたニューラルネットワークの学習ダイナミクスについて検討する。 有限学習経験が十分であれば、RNNは完全無限一般化への位相遷移を示すことを示す。 その結果、ニューラルネットワークが有限のトレーニング経験から無限に一般化できるメカニズムが明らかにされた。
• 参考スコア（独自算出の注目度）: 8.188549368578704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even when massively overparameterized, deep neural networks show a remarkable ability to generalize. Research on this phenomenon has focused on generalization within distribution, via smooth interpolation. Yet in some settings neural networks also learn to extrapolate to data far beyond the bounds of the original training set, sometimes even allowing for infinite generalization, implying that an algorithm capable of solving the task has been learned. Here we undertake a case study of the learning dynamics of recurrent neural networks (RNNs) trained on the streaming parity task in order to develop an effective theory of algorithm development. The streaming parity task is a simple but nonlinear task defined on sequences up to arbitrary length. We show that, with sufficient finite training experience, RNNs exhibit a phase transition to perfect infinite generalization. Using an effective theory for the representational dynamics, we find an implicit representational merger effect which can be interpreted as the construction of a finite automaton that reproduces the task. Overall, our results disclose one mechanism by which neural networks can generalize infinitely from finite training experience.
• Abstract（参考訳）: 非常に過度にパラメータ化されている場合でも、ディープニューラルネットワークは驚くほどの一般化能力を示している。 この現象の研究は、スムーズな補間を通して分布内の一般化に焦点を当てている。 しかし、いくつかの設定では、ニューラルネットワークは元のトレーニングセットの境界を超えたデータへの外挿を学習し、時には無限の一般化を可能にし、タスクを解くことができるアルゴリズムが学習されたことを意味する。 本稿では,ストリーミングパリティタスクで訓練されたリカレントニューラルネットワーク(RNN)の学習力学をケーススタディとして取り上げ,アルゴリズム開発を効果的に進める。 ストリーミングパリティタスクは、任意の長さまでのシーケンスで定義された単純だが非線形なタスクである。 有限学習経験が十分であれば、RNNは完全無限一般化への位相遷移を示すことを示す。 表現力学の効果的な理論を用いて、タスクを再現する有限オートマトンの構成と解釈できる暗黙の表現的合併効果を求める。 その結果、ニューラルネットワークが有限のトレーニング経験から無限に一般化できるメカニズムが明らかにされた。

関連論文リスト

• On the algorithmic construction of deep ReLU networks [0.0]
  我々はニューラルネットワークをアルゴリズムとして捉えている。 このアナロジーでは、ニューラルネットワークはデータから訓練されるのではなく、構築的にプログラムされる。 既存の例と新しい例の両方を構築し,分析する。
  論文  参考訳（メタデータ） (2025-06-23T20:35:52Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning for Integer-Constrained Optimization through Neural Networks with Limited Training [28.588195947764188]
  我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。 整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。 提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T21:17:07Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。