論文の概要: Feature learning in neural networks and kernel machines that recursively learn features

• arxiv url: http://arxiv.org/abs/2212.13881v1
• Date: Wed, 28 Dec 2022 15:50:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:33:37.620010
• Title: Feature learning in neural networks and kernel machines that recursively learn features
• Title（参考訳）: 再帰的に特徴を学習するニューラルネットワークとカーネルマシンの機能学習
• Authors: Adityanarayanan Radhakrishnan, Daniel Beaglehole, Parthe Pandit, Mikhail Belkin
• Abstract要約: 特徴を学習するカーネルマシンは、ディープ・フルコネクテッド・ニューラルネットワークによって学習された特徴を正確にキャプチャする。 また、最近観測された深い学習現象(グラッキング、宝くじ、単純さの偏り、刺激的な特徴など)にRAMが光を当てていることも示している。
• 参考スコア（独自算出の注目度）: 15.29093374895364
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural networks have achieved impressive results on many technological and scientific tasks. Yet, their empirical successes have outpaced our fundamental understanding of their structure and function. By identifying mechanisms driving the successes of neural networks, we can provide principled approaches for improving neural network performance and develop simple and effective alternatives. In this work, we isolate the key mechanism driving feature learning in fully connected neural networks by connecting neural feature learning to the average gradient outer product. We subsequently leverage this mechanism to design \textit{Recursive Feature Machines} (RFMs), which are kernel machines that learn features. We show that RFMs (1) accurately capture features learned by deep fully connected neural networks, (2) close the gap between kernel machines and fully connected networks, and (3) surpass a broad spectrum of models including neural networks on tabular data. Furthermore, we demonstrate that RFMs shed light on recently observed deep learning phenomena such as grokking, lottery tickets, simplicity biases, and spurious features. We provide a Python implementation to make our method broadly accessible [\href{https://github.com/aradha/recursive_feature_machines}{GitHub}].
• Abstract（参考訳）: ニューラルネットワークは多くの技術的および科学的タスクで印象的な成果を上げている。 しかし、彼らの経験的成功は、その構造と機能に対する根本的な理解を大きく上回っている。 ニューラルネットワークの成功を駆動するメカニズムを識別することで、ニューラルネットワークのパフォーマンスを改善するための原則的なアプローチを提供し、シンプルで効果的な代替手段を開発することができる。 本研究では,ニューラルネットワークにおける特徴学習と平均勾配外積を接続することにより,特徴学習の鍵となるメカニズムを分離する。 次に、このメカニズムを利用して特徴を学習するカーネルマシンである \textit{Recursive Feature Machines} (RFMs) を設計する。 本研究では,1) 深い完全連結ニューラルネットワークによって学習された特徴を正確に把握し,(2) カーネルマシンと完全連結ネットワークのギャップを埋め,(3) グラフデータ上のニューラルネットワークを含む広い範囲のモデルを超えることを示す。 さらに,rfmsが最近観測されたグルーキング,抽選券,単純さバイアス,スプリアス機能などの深層学習現象に光を当てていることを示す。 私たちはpythonの実装を提供して、メソッドを広くアクセスできるようにしています [\href{https://github.com/aradha/recursive_feature_machines}{github}]。

関連論文リスト

• High-dimensional learning of narrow neural networks [1.7094064195431147]
  この原稿は、機械学習の最近の進歩の根底にあるツールとアイデアをレビューしている。 本稿では,これまで研究されてきたモデルを特殊インスタンスとして包含する汎用モデル(シーケンスマルチインデックスモデル)を提案する。 複製法や近似メッセージパッシングアルゴリズムなどの統計物理手法を用いて,シーケンス多重インデックスモデルの学習過程を詳細に解析する。
  論文  参考訳（メタデータ） (2024-09-20T21:20:04Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
  本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。 我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
  論文  参考訳（メタデータ） (2024-03-27T05:10:38Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Feature Chirality in Deep Learning Models [7.402957682300806]
  本研究では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。 我々の研究は、特徴キラリティがモデル評価、モデルの解釈可能性、モデルパラメータの最適化を意味することを示している。
  論文  参考訳（メタデータ） (2023-05-06T07:57:38Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。