論文の概要: High-dimensional learning of narrow neural networks

• arxiv url: http://arxiv.org/abs/2409.13904v1
• Date: Fri, 20 Sep 2024 21:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:39:44.104414
• Title: High-dimensional learning of narrow neural networks
• Title（参考訳）: 狭義ニューラルネットワークの高次元学習
• Authors: Hugo Cui,
• Abstract要約: この原稿は、機械学習の最近の進歩の根底にあるツールとアイデアをレビューしている。 本稿では,これまで研究されてきたモデルを特殊インスタンスとして包含する汎用モデル(シーケンスマルチインデックスモデル)を提案する。 複製法や近似メッセージパッシングアルゴリズムなどの統計物理手法を用いて,シーケンス多重インデックスモデルの学習過程を詳細に解析する。
• 参考スコア（独自算出の注目度）: 1.7094064195431147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have been marked with the fast-pace diversification and increasing ubiquity of machine learning applications. Yet, a firm theoretical understanding of the surprising efficiency of neural networks to learn from high-dimensional data still proves largely elusive. In this endeavour, analyses inspired by statistical physics have proven instrumental, enabling the tight asymptotic characterization of the learning of neural networks in high dimensions, for a broad class of solvable models. This manuscript reviews the tools and ideas underlying recent progress in this line of work. We introduce a generic model -- the sequence multi-index model -- which encompasses numerous previously studied models as special instances. This unified framework covers a broad class of machine learning architectures with a finite number of hidden units, including multi-layer perceptrons, autoencoders, attention mechanisms; and tasks, including (un)supervised learning, denoising, contrastive learning, in the limit of large data dimension, and comparably large number of samples. We explicate in full detail the analysis of the learning of sequence multi-index models, using statistical physics techniques such as the replica method and approximate message-passing algorithms. This manuscript thus provides a unified presentation of analyses reported in several previous works, and a detailed overview of central techniques in the field of statistical physics of machine learning. This review should be a useful primer for machine learning theoreticians curious of statistical physics approaches; it should also be of value to statistical physicists interested in the transfer of such ideas to the study of neural networks.
• Abstract（参考訳）: 近年は、高速ペースの多様化と機械学習アプリケーションの普及が目覚ましい。 しかし、高次元データから学習するニューラルネットワークの驚くべき効率に関する理論的な理解は、いまだに明らかになっていない。 この試みにおいて、統計物理学にインスパイアされた分析は、幅広い種類の可解モデルに対して、高次元におけるニューラルネットワークの学習の厳密な漸近的特徴付けを可能にした。 この写本は、この作品の最近の進歩の根底にあるツールとアイデアをレビューしている。 本稿では,これまで研究されてきたモデルを特殊インスタンスとして包含する汎用モデル(シーケンスマルチインデックスモデル)を提案する。 この統合されたフレームワークは、多層パーセプトロン、オートエンコーダ、アテンションメカニズムを含む限られた数の隠れユニットを持つ機械学習アーキテクチャの幅広いクラスをカバーする。 複製法や近似メッセージパッシングアルゴリズムなどの統計物理手法を用いて,シーケンス多重インデックスモデルの学習過程を詳細に解析する。 そこで本書は,いくつかの先行研究で報告された分析の統一的なプレゼンテーションと,機械学習の統計物理学分野における中心的技術の概要を述べる。 このレビューは、統計物理学のアプローチに目を向ける機械学習理論家にとって有用なプライマーであり、また、そのようなアイデアをニューラルネットワークの研究に移行することに関心を持つ統計物理学者にとっても価値があるだろう。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Mechanism of feature learning in deep fully connected networks and kernel machines that recursively learn features [15.29093374895364]
  我々は,ニューラルネットワークが勾配特徴を学習するメカニズムを同定し,特徴付ける。 私たちのアンザッツは、突発的な特徴の出現や単純さのバイアスなど、さまざまな深層学習現象に光を当てています。 この特徴学習機構の有効性を実証するため,古典的非機能学習モデルにおいて特徴学習を可能にする。
  論文  参考訳（メタデータ） (2022-12-28T15:50:58Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Mean-field methods and algorithmic perspectives for high-dimensional machine learning [5.406386303264086]
  障害のあるシステムの統計物理学のツールに基づくアプローチを再検討する。 我々は、様々な理論モデルの位相図に光を放つために、複製法とメッセージパッシングアルゴリズムの深い接続に乗じる。
  論文  参考訳（メタデータ） (2021-03-10T09:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。