論文の概要: Feature learning in neural networks and kernel machines that recursively
learn features
- arxiv url: http://arxiv.org/abs/2212.13881v1
- Date: Wed, 28 Dec 2022 15:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 14:33:37.620010
- Title: Feature learning in neural networks and kernel machines that recursively
learn features
- Title(参考訳): 再帰的に特徴を学習するニューラルネットワークとカーネルマシンの機能学習
- Authors: Adityanarayanan Radhakrishnan, Daniel Beaglehole, Parthe Pandit,
Mikhail Belkin
- Abstract要約: 特徴を学習するカーネルマシンは、ディープ・フルコネクテッド・ニューラルネットワークによって学習された特徴を正確にキャプチャする。
また、最近観測された深い学習現象(グラッキング、宝くじ、単純さの偏り、刺激的な特徴など)にRAMが光を当てていることも示している。
- 参考スコア(独自算出の注目度): 15.29093374895364
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Neural networks have achieved impressive results on many technological and
scientific tasks. Yet, their empirical successes have outpaced our fundamental
understanding of their structure and function. By identifying mechanisms
driving the successes of neural networks, we can provide principled approaches
for improving neural network performance and develop simple and effective
alternatives. In this work, we isolate the key mechanism driving feature
learning in fully connected neural networks by connecting neural feature
learning to the average gradient outer product. We subsequently leverage this
mechanism to design \textit{Recursive Feature Machines} (RFMs), which are
kernel machines that learn features. We show that RFMs (1) accurately capture
features learned by deep fully connected neural networks, (2) close the gap
between kernel machines and fully connected networks, and (3) surpass a broad
spectrum of models including neural networks on tabular data. Furthermore, we
demonstrate that RFMs shed light on recently observed deep learning phenomena
such as grokking, lottery tickets, simplicity biases, and spurious features. We
provide a Python implementation to make our method broadly accessible
[\href{https://github.com/aradha/recursive_feature_machines}{GitHub}].
- Abstract(参考訳): ニューラルネットワークは多くの技術的および科学的タスクで印象的な成果を上げている。
しかし、彼らの経験的成功は、その構造と機能に対する根本的な理解を大きく上回っている。
ニューラルネットワークの成功を駆動するメカニズムを識別することで、ニューラルネットワークのパフォーマンスを改善するための原則的なアプローチを提供し、シンプルで効果的な代替手段を開発することができる。
本研究では,ニューラルネットワークにおける特徴学習と平均勾配外積を接続することにより,特徴学習の鍵となるメカニズムを分離する。
次に、このメカニズムを利用して特徴を学習するカーネルマシンである \textit{Recursive Feature Machines} (RFMs) を設計する。
本研究では,1) 深い完全連結ニューラルネットワークによって学習された特徴を正確に把握し,(2) カーネルマシンと完全連結ネットワークのギャップを埋め,(3) グラフデータ上のニューラルネットワークを含む広い範囲のモデルを超えることを示す。
さらに,rfmsが最近観測されたグルーキング,抽選券,単純さバイアス,スプリアス機能などの深層学習現象に光を当てていることを示す。
私たちはpythonの実装を提供して、メソッドを広くアクセスできるようにしています [\href{https://github.com/aradha/recursive_feature_machines}{github}]。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。
これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。
自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
論文 参考訳(メタデータ) (2023-10-25T04:22:40Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳(メタデータ) (2023-08-01T22:12:30Z) - Feature Chirality in Deep Learning Models [7.402957682300806]
本研究では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。
我々の研究は、特徴キラリティがモデル評価、モデルの解釈可能性、モデルパラメータの最適化を意味することを示している。
論文 参考訳(メタデータ) (2023-05-06T07:57:38Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Sobolev training of thermodynamic-informed neural networks for smoothed
elasto-plasticity models with level set hardening [0.0]
本研究では, 可視成分を用いた平滑な弾塑性モデルの学習を目的としたディープラーニングフレームワークを提案する。
収率関数を進化レベル集合として再キャストすることにより、ハミルトン・ヤコビ方程式の解を予測する機械学習手法を導入する。
論文 参考訳(メタデータ) (2020-10-15T22:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。