論文の概要: The Features at Convergence Theorem: a first-principles alternative to the Neural Feature Ansatz for how networks learn representations
- arxiv url: http://arxiv.org/abs/2507.05644v2
- Date: Fri, 05 Sep 2025 01:58:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-08 14:27:25.209773
- Title: The Features at Convergence Theorem: a first-principles alternative to the Neural Feature Ansatz for how networks learn representations
- Title（参考訳）: Convergence Theoremにおける特徴:ネットワークが表現を学習する方法のためのニューラル・フィーチャー・アンザッツに代わる第一原理
- Authors: Enric Boix-Adsera, Neil Mallinar, James B. Simon, Mikhail Belkin,
- Abstract要約: 主要なアプローチはニューラル・フィーチャー・アンザッツ(NFA)である。
NFAは経験的に検証されているが、教育された推測であり、理論的な基礎が欠落している。
我々は、この観察がなぜ、いつ、そうでないのかを理解するために、第一原理のアプローチをとる。
- 参考スコア（独自算出の注目度）: 16.67524623230699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is a central challenge in deep learning to understand how neural networks learn representations. A leading approach is the Neural Feature Ansatz (NFA) (Radhakrishnan et al. 2024), a conjectured mechanism for how feature learning occurs. Although the NFA is empirically validated, it is an educated guess and lacks a theoretical basis, and thus it is unclear when it might fail, and how to improve it. In this paper, we take a first-principles approach to understanding why this observation holds, and when it does not. We use first-order optimality conditions to derive the Features at Convergence Theorem (FACT), an alternative to the NFA that (a) obtains greater agreement with learned features at convergence, (b) explains why the NFA holds in most settings, and (c) captures essential feature learning phenomena in neural networks such as grokking behavior in modular arithmetic and phase transitions in learning sparse parities, similarly to the NFA. Thus, our results unify theoretical first-order optimality analyses of neural networks with the empirically-driven NFA literature, and provide a principled alternative that provably and empirically holds at convergence.
- Abstract（参考訳）: ニューラルネットワークが表現をどう学習するかを理解することは、ディープラーニングにおける中心的な課題である。
主要なアプローチはニューラル・フィーチャー・アンザッツ(NFA)(Radhakrishnan et al 2024)である。
NFAは実証的に検証されているが、教育された推測であり、理論的根拠が欠けているため、いつ失敗するか、どのように改善するかは不明である。
本稿では,この観測がなぜ成り立つのか,そうでないのかを理解するために,第一原理的アプローチをとる。
我々は、NFAの代替である収束定理(FACT)における特徴を導出するために、一階最適条件を用いる。
(a)収束時に学習した特徴とのより深い合意を得る。
(b)NFAがほとんどの設定で保持する理由を説明し、
(c)NFAと同様、モジュラー算術におけるグルーキング動作や、スパースパリティ学習における位相遷移などのニューラルネットワークにおける重要な特徴学習現象をキャプチャする。
そこで本研究では,ニューラルネットワークの理論的一階最適性解析を実験駆動型NFA文献と統合し,実証的かつ実験的に収束する原理的な代替手段を提案する。
関連論文リスト
- Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。
SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。
このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文 参考訳（メタデータ） (2025-03-12T17:33:13Z) - Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories [13.949362600389088]
ニューラルネットワークの主な利点は、その特徴学習特性にある。
本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。
論文 参考訳（メタデータ） (2024-12-25T03:03:58Z) - Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs [35.212818841550835]
一層ニューラルネットワークと一層トランスフォーマーの研究を行った。
1つの隠れた層ニューラルネットワークは、データセット上で最大$L_2,k+1$-marginに達する。
同様の計算機構を1層変換器に注意して観察する。
論文 参考訳（メタデータ） (2024-02-12T05:52:06Z) - On the hardness of learning under symmetries [31.961154082757798]
勾配勾配勾配を用いた同変ニューラルネットワークの学習問題について検討する。
対称性による帰納バイアスにもかかわらず、実際には勾配降下を通じて同変ニューラルネットワークで表される関数の完全なクラスを学習することは難しいままである。
論文 参考訳（メタデータ） (2024-01-03T18:24:18Z) - On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective [9.753461673117362]
ニューラル・タンジェント・カーネル(NTK)は、大規模ニューラルネットワークの振る舞いを記述する理論的枠組みとして注目されている。
カーネル体制への収束率の定量化の現在の結果は、これらの利点を利用するには、それらよりも桁違いに広いアーキテクチャが必要であることを示唆している。
本研究は,大規模建築物の実用的関連挙動を予測するための限界条件について検討する。
論文 参考訳（メタデータ） (2023-09-29T20:51:24Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳（メタデータ） (2023-07-15T09:24:33Z) - Deep neural networks have an inbuilt Occam's razor [4.330196787806085]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z) - Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。
マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:05:19Z) - Scalable Partial Explainability in Neural Networks via Flexible
Activation Functions [13.71739091287644]
ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。
現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。
本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
論文 参考訳（メタデータ） (2020-06-10T20:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。