Fugu-MT 論文翻訳(概要): Feature learning is decoupled from generalization in high capacity neural networks

論文の概要: Feature learning is decoupled from generalization in high capacity neural networks

arxiv url: http://arxiv.org/abs/2507.19680v1
Date: Fri, 25 Jul 2025 21:19:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:55.959519
Title: Feature learning is decoupled from generalization in high capacity neural networks
Title（参考訳）: 高容量ニューラルネットワークの一般化から特徴学習が切り離される
Authors: Niclas Alexander Göring, Charles London, Abdurrahman Hadi Erturk, Chris Mingard, Yoonsoo Nam, Ard A. Louis,
Abstract要約: 私たちは、このパフォーマンス改善を測定するために、機能品質と呼ぶ概念を紹介します。特徴学習の現在の理論は、ニューラルネットワークの一般化の理論の発展に十分な基礎を与えていない。
参考スコア（独自算出の注目度）: 2.3348738689737507
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks outperform kernel methods, sometimes by orders of magnitude, e.g. on staircase functions. This advantage stems from the ability of neural networks to learn features, adapting their hidden representations to better capture the data. We introduce a concept we call feature quality to measure this performance improvement. We examine existing theories of feature learning and demonstrate empirically that they primarily assess the strength of feature learning, rather than the quality of the learned features themselves. Consequently, current theories of feature learning do not provide a sufficient foundation for developing theories of neural network generalization.
Abstract（参考訳）: ニューラルネットワークは、階段の関数上で、時には桁違いにカーネルメソッドを上回ります。このアドバンテージは、ニューラルネットワークが特徴を学習し、隠れた表現に適応してデータをよりよくキャプチャする能力に起因している。私たちは、このパフォーマンス改善を測定するために、機能品質と呼ぶ概念を紹介します。特徴学習の既存の理論を検証し,学習内容自体の品質ではなく,特徴学習の強みを主眼として評価することを実証的に示す。したがって、現在の特徴学習の理論は、ニューラルネットワークの一般化の理論の発展に十分な基礎を与えていない。

関連論文リスト

Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文参考訳（メタデータ） (2025-03-12T17:33:13Z)
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories [13.949362600389088]
ニューラルネットワークの主な利点は、その特徴学習特性にある。本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。
論文参考訳（メタデータ） (2024-12-25T03:03:58Z)
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文参考訳（メタデータ） (2024-08-10T12:43:55Z)
Spring-block theory of feature learning in deep neural networks [11.396919965037636]
特徴学習深度ネットが、定期的に低次元の幾何学にどのように崩壊するかを示す。本稿では,図を再現し,階層間の特徴学習と一般化をリンクするマクロ力学的理論を提案する。
論文参考訳（メタデータ） (2024-07-28T00:07:20Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
論文参考訳（メタデータ） (2023-06-24T10:21:11Z)
What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文参考訳（メタデータ） (2022-10-11T16:11:48Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
論文参考訳（メタデータ） (2022-06-03T17:49:38Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
論文参考訳（メタデータ） (2021-05-31T16:42:09Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。