論文の概要: On the Spatiotemporal Dynamics of Generalization in Neural Networks

• arxiv url: http://arxiv.org/abs/2602.01651v1
• Date: Mon, 02 Feb 2026 05:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.91492
• Title: On the Spatiotemporal Dynamics of Generalization in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける一般化の時空間ダイナミクスについて
• Authors: Zichao Wei,
• Abstract要約: 我々は、局所的な畳み込み規則が収束するまで反復される神経細胞オートマトンを構築した。 その結果,統計的学習と論理的推論のギャップを埋めることが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do neural networks fail to generalize addition from 16-digit to 32-digit numbers, while a child who learns the rule can apply it to arbitrarily long sequences? We argue that this failure is not an engineering problem but a violation of physical postulates. Drawing inspiration from physics, we identify three constraints that any generalizing system must satisfy: (1) Locality -- information propagates at finite speed; (2) Symmetry -- the laws of computation are invariant across space and time; (3) Stability -- the system converges to discrete attractors that resist noise accumulation. From these postulates, we derive -- rather than design -- the Spatiotemporal Evolution with Attractor Dynamics (SEAD) architecture: a neural cellular automaton where local convolutional rules are iterated until convergence. Experiments on three tasks validate our theory: (1) Parity -- demonstrating perfect length generalization via light-cone propagation; (2) Addition -- achieving scale-invariant inference from L=16 to L=1 million with 100% accuracy, exhibiting input-adaptive computation; (3) Rule 110 -- learning a Turing-complete cellular automaton without trajectory divergence. Our results suggest that the gap between statistical learning and logical reasoning can be bridged -- not by scaling parameters, but by respecting the physics of computation.
• Abstract（参考訳）: なぜニューラルネットワークは16桁から32桁への加算を一般化しないのか。 この失敗はエンジニアリングの問題ではなく、物理的な仮定違反であると主張する。 1)局所性 -- 情報が有限速で伝播する; (2) 対称性 -- 計算の法則は空間と時間にわたって不変である; 安定性 -- システムはノイズの蓄積に抵抗する離散的な誘引子に収束する; これらの仮定から、設計よりも -- アクトラクターダイナミクスによる時空間進化(SEAD: Spatiotemporal Evolution with Attractor Dynamics)アーキテクチャー 局所的な畳み込み規則が収束するまで反復される神経セルオートマトンを導出する。 この結果から,統計的学習と論理的推論のギャップは,パラメータのスケーリングではなく,計算の物理を尊重することで橋渡しできる可能性が示唆された。

関連論文リスト

• Quantifying The Limits of AI Reasoning: Systematic Neural Network Representations of Algorithms [10.292476979020522]
  基本的に任意の回路をフィードフォワードニューラルネットワーク(NN)に変換するシステムメタアルゴリズムを提案する。 あらゆるデジタルコンピュータ上で、我々の構成は回路を正確にエミュレートしている ― 近似がなく、丸めず、モジュラーなオーバーフローも含まない ― ニューラルネットワークの範囲を超えて推論タスクが存在しないことを実証している。
  論文  参考訳（メタデータ） (2025-08-25T21:55:37Z)
• Neural Astrophysical Wind Models [0.0]
  本研究は, 直交常微分方程式 (ODE) に個々の項として埋め込まれたディープニューラルネットワークが, これらの物理の双方をしっかりと発見できることを示す。 我々は、3つの保存変数を明示的に解決するのではなく、マッハ数に基づく損失関数を最適化し、近分散解に対してペナルティ項を適用する。 この研究は、非線形逆問題に対する機械論的解釈性を備えた有望な発見ツールとしてのニューラルODEの実現性をさらに強調する。
  論文  参考訳（メタデータ） (2023-06-20T16:37:57Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
  本稿では,グラフ力学ネットワーク(GMN)を提案する。 GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。 大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
  論文  参考訳（メタデータ） (2022-03-12T14:22:14Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• SyReNets: Symbolic Residual Neural Networks [9.713727879151012]
  我々はSyReNetsを提案する。SyReNetsは、ニューラルネットワークを利用してシンボリックリレーションを学習し、データから動的物理システムを正確に記述する手法である。 入力としての位置,速度,加速度のランダムなサンプルのみを観測し,トルクを出力とする。 この手法は、シミュレーション制御された二重振り子を用いて評価され、ニューラルネットワーク、遺伝的プログラミング、従来のシステム識別と比較される。
  論文  参考訳（メタデータ） (2021-05-30T00:30:27Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Neural Networks and Quantum Field Theory [0.0]
  我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。 この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
  論文  参考訳（メタデータ） (2020-08-19T18:00:06Z)
• Simulating nonnative cubic interactions on noisy quantum machines [65.38483184536494]
  量子プロセッサは、ハードウェアに固有のものではないダイナミクスを効率的にシミュレートするためにプログラムできることを示す。 誤差補正のないノイズのあるデバイスでは、モジュールゲートを用いて量子プログラムをコンパイルするとシミュレーション結果が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2020-04-15T05:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。