論文の概要: Mechanism of feature learning in deep fully connected networks and
kernel machines that recursively learn features
- arxiv url: http://arxiv.org/abs/2212.13881v3
- Date: Tue, 9 May 2023 14:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 16:07:28.032317
- Title: Mechanism of feature learning in deep fully connected networks and
kernel machines that recursively learn features
- Title(参考訳): 再帰的に特徴を学習する完全連結ネットワークとカーネルマシンにおける特徴学習のメカニズム
- Authors: Adityanarayanan Radhakrishnan, Daniel Beaglehole, Parthe Pandit,
Mikhail Belkin
- Abstract要約: 我々は,ニューラルネットワークが勾配特徴を学習するメカニズムを同定し,特徴付ける。
私たちのアンザッツは、突発的な特徴の出現や単純さのバイアスなど、さまざまな深層学習現象に光を当てています。
この特徴学習機構の有効性を実証するため,古典的非機能学習モデルにおいて特徴学習を可能にする。
- 参考スコア(独自算出の注目度): 15.29093374895364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years neural networks have achieved impressive results on many
technological and scientific tasks. Yet, the mechanism through which these
models automatically select features, or patterns in data, for prediction
remains unclear. Identifying such a mechanism is key to advancing performance
and interpretability of neural networks and promoting reliable adoption of
these models in scientific applications. In this paper, we identify and
characterize the mechanism through which deep fully connected neural networks
learn features. We posit the Deep Neural Feature Ansatz, which states that
neural feature learning occurs by implementing the average gradient outer
product to up-weight features strongly related to model output. Our ansatz
sheds light on various deep learning phenomena including emergence of spurious
features and simplicity biases and how pruning networks can increase
performance, the "lottery ticket hypothesis." Moreover, the mechanism
identified in our work leads to a backpropagation-free method for feature
learning with any machine learning model. To demonstrate the effectiveness of
this feature learning mechanism, we use it to enable feature learning in
classical, non-feature learning models known as kernel machines and show that
the resulting models, which we refer to as Recursive Feature Machines, achieve
state-of-the-art performance on tabular data.
- Abstract(参考訳): 近年、ニューラルネットワークは多くの技術的および科学的タスクで印象的な成果を上げている。
しかし、これらのモデルが予測のためにデータの特徴やパターンを自動的に選択するメカニズムはまだ不明である。
このようなメカニズムを同定することは、ニューラルネットワークの性能と解釈可能性の向上と、これらのモデルの科学的応用への信頼性の向上の鍵となる。
本稿では,深い完全連結ニューラルネットワークが特徴を学習するメカニズムを同定し,特徴付ける。
神経機能学習は,平均勾配外積をモデル出力に強く関連づける重み付け機能に実装することで実現されるという,深層神経機能antatzを仮定する。
私たちのアンサッツは、素早い特徴の出現や単純さのバイアス、プルーニングネットワークがパフォーマンスを高める方法、"ロタリーチケット仮説"など、さまざまなディープラーニング現象に光を当てています。
さらに、我々の研究で特定されたメカニズムは、どんな機械学習モデルでも特徴学習のバックプロパゲーションフリーな手法につながる。
この特徴学習機構の有効性を実証するために、カーネルマシンとして知られる古典的で非機能学習モデルにおける特徴学習を実現し、その結果、私たちがRecursive Feature Machinesと呼ぶモデルが表データ上で最先端のパフォーマンスを達成することを示す。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。
これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。
自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
論文 参考訳(メタデータ) (2023-10-25T04:22:40Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳(メタデータ) (2023-08-01T22:12:30Z) - Feature Chirality in Deep Learning Models [7.402957682300806]
本研究では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。
我々の研究は、特徴キラリティがモデル評価、モデルの解釈可能性、モデルパラメータの最適化を意味することを示している。
論文 参考訳(メタデータ) (2023-05-06T07:57:38Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Sobolev training of thermodynamic-informed neural networks for smoothed
elasto-plasticity models with level set hardening [0.0]
本研究では, 可視成分を用いた平滑な弾塑性モデルの学習を目的としたディープラーニングフレームワークを提案する。
収率関数を進化レベル集合として再キャストすることにより、ハミルトン・ヤコビ方程式の解を予測する機械学習手法を導入する。
論文 参考訳(メタデータ) (2020-10-15T22:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。