論文の概要: Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning

• arxiv url: http://arxiv.org/abs/2605.13612v1
• Date: Wed, 13 May 2026 14:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.111406
• Title: Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
• Title（参考訳）: ニューラル低層フィルタリングとしての深層学習 : 階層的特徴学習のスペクトル理論
• Authors: Yatin Dandi, Matteo Vilucchio, Luca Arnaboldi, Hugo Tabanelli, Florent Krzakala,
• Abstract要約: 階層的特徴学習が明示的な反復スペクトル法となる勾配に基づく訓練のスタイリング限界であるニューラルローデグリーフィルタ(Neural Low-Degree Filtering:Neural LoFi)を導入する。 我々は、Neural LoFiが遅延ランダム特徴ベースラインよりも改善し、有意な構造化されたフィルタを復元し、実際のデータセットで早期の勾配差特徴発見と整合した表現を予測することを示す。
• 参考スコア（独自算出の注目度）: 17.247172396896698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how deep neural networks learn useful internal representations from data remains a central open problem in the theory of deep learning. We introduce Neural Low-Degree Filtering (Neural LoFi), a stylized limit of gradient-based training in which hierarchical feature learning becomes an explicit iterative spectral procedure. In this limit, the dynamics at each layer decouple: given the current representation, the next layer selects directions with maximal accessible low-degree correlation to the label. This yields a tractable surrogate mechanism for deep learning, together with a natural kernel-space interpretation. Neural LoFi provides a mathematically explicit framework for studying multi-layer feature learning beyond the lazy regime. It predicts how representations are selected layer by layer, explains how emergence of concepts arises with given sample complexity,and gives a concrete mechanism by which depth progressively constructs new features from old ones through low-degree compositionality. We complement the theory with mechanistic experiments on fully connected and convolutional architectures, showing that Neural LoFi improves over lazy random-feature baselines, recovers meaningful structured filters, and predicts representations aligned with early gradient-descent feature discovery with real datasets.
• Abstract（参考訳）: 深層ニューラルネットワークがデータから有用な内部表現をいかに学習するかを理解することは、ディープラーニング理論における中心的なオープンな問題である。 階層的特徴学習が明示的な反復スペクトル法となる勾配に基づく訓練のスタイリング限界であるニューラルローデグリーフィルタ(Neural Low-Degree Filtering:Neural LoFi)を導入する。 この制限では、各層におけるダイナミクスが分離される: 現在の表現が与えられたら、次の層はラベルに対して最大限の低次相関を持つ方向を選択する。 これにより、自然のカーネル空間解釈とともに、深層学習のための抽出可能なサロゲート機構が得られる。 Neural LoFiは、遅延状態を超えた多層特徴学習を研究するための数学的に明示的なフレームワークを提供する。 レイヤごとに表現がどのように選択されるかを予測し、与えられたサンプルの複雑さによって概念の出現がどのように生じるかを説明し、深度が古いものから低次構成性を通じて、徐々に新しい特徴を構築するための具体的なメカニズムを提供する。 我々は,完全連結型および畳み込み型アーキテクチャの力学実験により理論を補完し,Neural LoFiが遅延ランダムな特徴ベースラインよりも改善し,有意義な構造化されたフィルタを復元し,実際のデータセットによる早期勾配差特徴発見に対応する表現を予測することを示した。

関連論文リスト

• Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
  我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
  論文  参考訳（メタデータ） (2026-01-27T16:19:54Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Network Dynamics-Based Framework for Understanding Deep Neural Networks [8.376259475051974]
  本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。 ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。 異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• Spring-block theory of feature learning in deep neural networks [11.396919965037636]
  特徴学習深度ネットが、定期的に低次元の幾何学にどのように崩壊するかを示す。 本稿では,図を再現し,階層間の特徴学習と一般化をリンクするマクロ力学的理論を提案する。
  論文  参考訳（メタデータ） (2024-07-28T00:07:20Z)
• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。