論文の概要: A Fourier perspective on the learning dynamics of neural networks: from sample complexities to mechanistic insights

• arxiv url: http://arxiv.org/abs/2605.16913v1
• Date: Sat, 16 May 2026 10:03:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.290227
• Title: A Fourier perspective on the learning dynamics of neural networks: from sample complexities to mechanistic insights
• Title（参考訳）: ニューラルネットワークの学習力学に関するフーリエ的視点--サンプル複雑度から機械的洞察まで
• Abstract要約: 画像分類タスクで訓練された単純なニューラルネットワークは、まず振幅情報に依存する。 次に、エッジと高次相関を符号化する位相情報を利用する。 実験および理論的には、パワーロースペクトルが学習相情報の速度を劇的に加速できることを示す。
• 参考スコア（独自算出の注目度）: 8.973965016201822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained with gradient-based methods exhibit a strong simplicity bias: they learn simpler statistical features of their data before moving to more complex features. Previous analyses of this phenomenon have largely focused on settings with (quasi-)isotropic inputs. In this work, we study the simplicity bias from a Fourier perspective, which allows us to include two key features of natural images in the analysis: approximate translation-invariance and power-law spectra. We first show experimentally that simple neural networks trained on image classification tasks first rely on amplitude information -- related to pair-wise correlations between pixels -- before exploiting phase information, which encodes edges and higher-order correlations. In view of this, we introduce a synthetic data model for translation-invariant inputs that allows precise control over amplitudes and phases while remaining tractable. We rigorously establish that for isotropic and high-dimensional inputs, classification based on phase information alone is a genuinely hard task: online stochastic gradient descent (SGD) cannot distinguish the structured inputs from noise within $n \ll N^3$ steps, but needs at least $n \gg N^3 \log^2{N}$ steps. In contrast, we show both experimentally and theoretically that power-law spectra can dramatically accelerate the speed of learning phase information, even if the spectra do not help with classification. Simulations with two-layer networks trained on textures and with deep convolutional networks on ImageNet and CIFAR100 confirm this non-trivial interaction between amplitudes and phases, providing mechanistic insights into how deep neural networks can learn natural image distributions efficiently.
• Abstract（参考訳）: 勾配に基づく手法で訓練されたニューラルネットワークは、より複雑な特徴に移行する前に、データのより単純な統計的特徴を学ぶという、強い単純さのバイアスを示す。 この現象の以前の分析は、主に(準)等方性入力による設定に焦点を当てていた。 本研究では,Fourierの観点からの単純さバイアスについて検討し,解析に自然画像の2つの重要な特徴,すなわち近似的翻訳不変性とパワーロースペクトルを含めることができた。 まず、画像分類タスクでトレーニングされた単純なニューラルネットワークは、エッジと高次相関をエンコードする位相情報を利用する前に、まず振幅情報(画素間のペアワイズ相関に関連する)に依存することを示した。 そこで本研究では,変換不変入力に対する合成データモデルを導入し,抽出可能ながら振幅や位相を正確に制御する。 オンライン確率勾配勾配勾配(SGD)は、$n \ll N^3$ ステップ内の雑音から構造化された入力を区別することはできないが、少なくとも$n \gg N^3 \log N^2{N}$ ステップは必要である。 対照的に、パワーロースペクトルは、たとえスペクトルが分類に役立たなくても、学習相情報のスピードを劇的に向上させることができることを実験的および理論的に示す。 テクスチャに基づいてトレーニングされた2層ネットワークと、ImageNetとCIFAR100のディープ畳み込みネットワークによるシミュレーションは、振幅と位相の間の非自明な相互作用を確認し、ディープニューラルネットワークが自然なイメージ分布を効率的に学習する方法に関する機械的な洞察を提供する。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings [106.3726679697804]
  フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)の2つの手法を比較した。 MPEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。 我々は,MPEが学習可能な埋め込みではなく,グリッド構造を通じてネットワークの性能を向上させることを証明した。
  論文  参考訳（メタデータ） (2025-04-18T02:18:08Z)
• Feature learning from non-Gaussian inputs: the case of Independent Component Analysis in high dimensions [7.2136602534376015]
  我々は、最も人気のあるICAアルゴリズムであるFastICAと勾配降下(SGD)のための特徴学習におけるデータ構造間の相互作用について検討する。 我々は、バニラオンラインSGDがFastICAより優れており、損失を平滑にすることで最適なサンプルの複雑さが$ngtrsim d2$に達することを証明している。
  論文  参考訳（メタデータ） (2025-03-31T09:46:47Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Coordinate-based Neural Network for Fourier Phase Retrieval [8.827173113748703]
  Single ImpliCit neurAl Network (SCAN) は、位相探索性能を向上させるために慎重に設計されたニューラルネットワークをコーディネートするツールである。 SCANは、教師なしの方法で、オブジェクト座標を統一ネットワーク内の振幅と位相に順応的に接続する。
  論文  参考訳（メタデータ） (2023-11-25T04:23:23Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
  線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。 この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。 また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
  論文  参考訳（メタデータ） (2022-11-11T23:00:30Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Extracting dispersion curves from ambient noise correlations using deep learning [1.0237120900821557]
  本研究では,表面波の分散曲線の位相を分類する機械学習手法を提案する。 受信機のアレイで観測された表面の標準FTAN解析を画像に変換する。 我々は、教師付き学習目標を備えた畳み込みニューラルネットワーク(U-net)アーキテクチャを使用し、伝達学習を取り入れる。
  論文  参考訳（メタデータ） (2020-02-05T23:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。