Fugu-MT 論文翻訳(概要): Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition

論文の概要: Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition

arxiv url: http://arxiv.org/abs/2503.22059v1
Date: Fri, 28 Mar 2025 00:40:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-31 15:32:03.254272
Title: Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
Title（参考訳）: モジュール付加によるリカレントネットワークにおける低ランクとスパースフーリエ構造
Authors: Akshay Rangamani,
Abstract要約: モジュール追加タスクを訓練したリカレントニューラルネットワーク(RNN)もフーリエ乗算戦略を採用していることを示す。また、RNNは個々の周波数の除去に頑健であり、性能が大幅に低下し、より多くの周波数がモデルから減少することを示す。
参考スコア（独自算出の注目度）: 2.973331166114387
License:
Abstract: Modular addition tasks serve as a useful test bed for observing empirical phenomena in deep learning, including the phenomenon of \emph{grokking}. Prior work has shown that one-layer transformer architectures learn Fourier Multiplication circuits to solve modular addition tasks. In this paper, we show that Recurrent Neural Networks (RNNs) trained on modular addition tasks also use a Fourier Multiplication strategy. We identify low rank structures in the model weights, and attribute model components to specific Fourier frequencies, resulting in a sparse representation in the Fourier space. We also show empirically that the RNN is robust to removing individual frequencies, while the performance degrades drastically as more frequencies are ablated from the model.
Abstract（参考訳）: モジュール追加タスクは、深層学習における経験的現象を観察するための有用なテストベッドとして機能し、例えば 'emph{grokking} の現象を含む。以前の研究で、1層トランスアーキテクチャはモジュラ付加タスクを解くためにフーリエ乗算回路を学習していた。本稿では,モジュール追加タスクを訓練したリカレントニューラルネットワーク (RNN) もフーリエ乗算戦略を用いていることを示す。モデル重みにおける低階構造と、特定のフーリエ周波数に対する属性モデル成分を同定し、その結果、フーリエ空間におけるスパース表現が得られる。また、RNNは個々の周波数の除去に頑健であり、性能が大幅に低下し、より多くの周波数がモデルから減少することを示す。

関連論文リスト

Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。 INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
論文参考訳（メタデータ） (2025-02-08T07:43:37Z)
Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
論文参考訳（メタデータ） (2024-10-07T02:39:55Z)
Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
論文参考訳（メタデータ） (2024-09-14T05:53:33Z)
Robust Fourier Neural Networks [1.0589208420411014]
フーリエ埋込層の後, 単純な対角層を導入することにより, ネットワークの騒音測定がより堅牢になることを示す。特定の条件下では,フーリエ関数の非線形関数の雑音混合である関数も学習することができる。
論文参考訳（メタデータ） (2024-09-03T16:56:41Z)
Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。提案するフレームワークは,合理的な性能で高い効率性を示す。
論文参考訳（メタデータ） (2023-04-20T07:21:32Z)
Frame Flexible Network [52.623337134518835]
既存のビデオ認識アルゴリズムは、常に異なるフレーム番号の入力に対して異なるトレーニングパイプラインを実行する。トレーニングに使われていない他のフレームを使用してモデルを評価した場合、パフォーマンスが大幅に低下するのを観察する。本稿では,フレームフレキシブルネットワーク(FFN)と呼ばれる汎用フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-26T20:51:35Z)
Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文参考訳（メタデータ） (2022-11-28T09:57:15Z)
Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文参考訳（メタデータ） (2022-11-26T01:56:05Z)
Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
論文参考訳（メタデータ） (2021-12-06T18:59:52Z)
Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文参考訳（メタデータ） (2021-11-27T03:34:13Z)
Fourier Neural Networks as Function Approximators and Differential Equation Solvers [0.456877715768796]
活性化と損失関数の選択は、フーリエ級数展開を密接に再現する結果をもたらす。我々はこのFNNを自然周期的滑らかな関数と断片的連続周期関数で検証する。現在のアプローチの主な利点は、トレーニング領域外のソリューションの有効性、トレーニングされたモデルの解釈可能性、使用の単純さである。
論文参考訳（メタデータ） (2020-05-27T00:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。