論文の概要: Mechanism of feature learning in deep fully connected networks and
kernel machines that recursively learn features
- arxiv url: http://arxiv.org/abs/2212.13881v3
- Date: Tue, 9 May 2023 14:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 16:07:28.032317
- Title: Mechanism of feature learning in deep fully connected networks and
kernel machines that recursively learn features
- Title（参考訳）: 再帰的に特徴を学習する完全連結ネットワークとカーネルマシンにおける特徴学習のメカニズム
- Authors: Adityanarayanan Radhakrishnan, Daniel Beaglehole, Parthe Pandit,
Mikhail Belkin
- Abstract要約: 我々は,ニューラルネットワークが勾配特徴を学習するメカニズムを同定し,特徴付ける。
私たちのアンザッツは、突発的な特徴の出現や単純さのバイアスなど、さまざまな深層学習現象に光を当てています。
この特徴学習機構の有効性を実証するため,古典的非機能学習モデルにおいて特徴学習を可能にする。
- 参考スコア（独自算出の注目度）: 15.29093374895364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years neural networks have achieved impressive results on many
technological and scientific tasks. Yet, the mechanism through which these
models automatically select features, or patterns in data, for prediction
remains unclear. Identifying such a mechanism is key to advancing performance
and interpretability of neural networks and promoting reliable adoption of
these models in scientific applications. In this paper, we identify and
characterize the mechanism through which deep fully connected neural networks
learn features. We posit the Deep Neural Feature Ansatz, which states that
neural feature learning occurs by implementing the average gradient outer
product to up-weight features strongly related to model output. Our ansatz
sheds light on various deep learning phenomena including emergence of spurious
features and simplicity biases and how pruning networks can increase
performance, the "lottery ticket hypothesis." Moreover, the mechanism
identified in our work leads to a backpropagation-free method for feature
learning with any machine learning model. To demonstrate the effectiveness of
this feature learning mechanism, we use it to enable feature learning in
classical, non-feature learning models known as kernel machines and show that
the resulting models, which we refer to as Recursive Feature Machines, achieve
state-of-the-art performance on tabular data.
- Abstract（参考訳）: 近年、ニューラルネットワークは多くの技術的および科学的タスクで印象的な成果を上げている。
しかし、これらのモデルが予測のためにデータの特徴やパターンを自動的に選択するメカニズムはまだ不明である。
このようなメカニズムを同定することは、ニューラルネットワークの性能と解釈可能性の向上と、これらのモデルの科学的応用への信頼性の向上の鍵となる。
本稿では,深い完全連結ニューラルネットワークが特徴を学習するメカニズムを同定し,特徴付ける。
神経機能学習は,平均勾配外積をモデル出力に強く関連づける重み付け機能に実装することで実現されるという,深層神経機能antatzを仮定する。
私たちのアンサッツは、素早い特徴の出現や単純さのバイアス、プルーニングネットワークがパフォーマンスを高める方法、"ロタリーチケット仮説"など、さまざまなディープラーニング現象に光を当てています。
さらに、我々の研究で特定されたメカニズムは、どんな機械学習モデルでも特徴学習のバックプロパゲーションフリーな手法につながる。
この特徴学習機構の有効性を実証するために、カーネルマシンとして知られる古典的で非機能学習モデルにおける特徴学習を実現し、その結果、私たちがRecursive Feature Machinesと呼ぶモデルが表データ上で最先端のパフォーマンスを達成することを示す。
関連論文リスト
- High-dimensional learning of narrow neural networks [1.7094064195431147]
この原稿は、機械学習の最近の進歩の根底にあるツールとアイデアをレビューしている。
本稿では,これまで研究されてきたモデルを特殊インスタンスとして包含する汎用モデル(シーケンスマルチインデックスモデル)を提案する。
複製法や近似メッセージパッシングアルゴリズムなどの統計物理手法を用いて,シーケンス多重インデックスモデルの学習過程を詳細に解析する。
論文 参考訳（メタデータ） (2024-09-20T21:20:04Z) - Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。
本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文 参考訳（メタデータ） (2024-06-04T15:47:03Z) - Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。
我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
論文 参考訳（メタデータ） (2024-03-27T05:10:38Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。
これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。
自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
論文 参考訳（メタデータ） (2023-10-25T04:22:40Z) - Feature Chirality in Deep Learning Models [7.402957682300806]
本研究では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。
我々の研究は、特徴キラリティがモデル評価、モデルの解釈可能性、モデルパラメータの最適化を意味することを示している。
論文 参考訳（メタデータ） (2023-05-06T07:57:38Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。