論文の概要: Probability-Signature Dynamics: Unpacking Modular Addition Learning Within Two-Layer Networks
- arxiv url: http://arxiv.org/abs/2610.11833v1
- Date: Thu, 08 Oct 2026 12:27:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.021465
- Title: Probability-Signature Dynamics: Unpacking Modular Addition Learning Within Two-Layer Networks
- Title（参考訳）: 確率-符号ダイナミクス:2層ネットワークにおけるモジュール付加学習の解法
- Abstract要約: モジュラー加算タスクで訓練されたニューラルネットワークは、しばしば正確な一般化をサポートする表現を開発する。
我々は、トレーニング分布の条件付き統計を通して、先行的な勾配相互作用を表現する確率シグネチャを用いる。
ノイズは条件付きラベル衝突を増大させ、初期の共有座標強化を強化する。
- 参考スコア（独自算出の注目度）: 14.413426599410263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks trained on modular addition tasks often develop Fourier-structured representations that support exact generalization. While prior work has identified these Fourier circuits, the mechanism by which gradient-based training selects them from the data distribution remains unclear. We address this question using probability signatures, which express leading gradient interactions through conditional statistics of the training distribution. For modular addition, these signatures are cyclic shift operators and are diagonalized by the discrete Fourier transform, yielding approximately decoupled Fourier-mode dynamics. This explains the emergence of Fourier sparsity, frequency matching, and phase alignment. The same framework resolves a puzzle under label noise: corrupted examples can show faster early loss decrease than clean examples, despite lacking a coherent generalization rule. We show that noise increases conditional label collisions, strengthening early shared-coordinate reinforcement. Finally, this method can be applied to other operators. Taking XOR as an example, we observed the predicted frequency in experiments.
- Abstract（参考訳）: モジュラー加算タスクで訓練されたニューラルネットワークは、正確な一般化をサポートするフーリエ構造表現を開発することが多い。
以前の研究でこれらのフーリエ回路が特定されているが、勾配に基づくトレーニングがデータ分布からそれらを選択するメカニズムはいまだ不明である。
本稿では,トレーニング分布の条件付き統計を用いて,先行的な勾配相互作用を表現する確率シグネチャを用いて,この問題に対処する。
モジュラー加法について、これらのシグネチャは巡回シフト作用素であり、離散フーリエ変換によって対角化され、およそ分離されたフーリエモード力学をもたらす。
これはフーリエ空間、周波数マッチング、位相アライメントの出現を説明する。
破損した例は、コヒーレントな一般化規則を欠いたにもかかわらず、クリーンな例よりも早く早期の損失を減少させることができる。
ノイズは条件付きラベル衝突を増大させ、初期の共有座標強化を強化する。
最後に、この方法は他の演算子にも適用できる。
XORを例として、予測周波数を実験で観測した。
関連論文リスト
- Asymptotics for Frequency Redundancies in Quantum Machine Learning Models [3.2590369830031576]
各層で同一となるいくつかの構造的固有値選択に対して、正確な冗長性プロファイルと構造的冗長性プロファイルを導出する。
すると、このガウス極限はこれらの構成に特有ではなく、整数固有値から構築されたQFMの一般的な特徴であることを示す。
論文 参考訳（メタデータ） (2026-09-18T15:39:12Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - FUTON: Fourier Tensor Network for Implicit Neural Representations [56.48739018255443]
入射神経表現(INR)はシグナルを符号化する強力なツールとして現れてきたが、支配的な設計はしばしば収束が遅く、ノイズに過度に適応し、外挿が不十分である。
低ランクテンソル分解により係数がパラメータ化される一般化フーリエ級数として信号をモデル化するFUTONを導入する。
論文 参考訳（メタデータ） (2026-02-13T19:31:44Z) - From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。
その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
論文 参考訳（メタデータ） (2025-12-21T08:10:26Z) - Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition [2.973331166114387]
モジュール追加タスクを訓練したリカレントニューラルネットワーク(RNN)もフーリエ乗算戦略を採用していることを示す。
また、RNNは個々の周波数の除去に頑健であり、性能が大幅に低下し、より多くの周波数がモデルから減少することを示す。
論文 参考訳（メタデータ） (2025-03-28T00:40:03Z) - Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。
INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。
本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
論文 参考訳（メタデータ） (2025-02-08T07:43:37Z) - Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。
我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。
また、異なるアンサンブルを区別する新しい問題も分析できます。
論文 参考訳（メタデータ） (2024-04-29T14:33:24Z) - Generative Diffusion From An Action Principle [0.0]
スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。
この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
論文 参考訳（メタデータ） (2023-10-06T18:00:00Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。