Fugu-MT 論文翻訳(概要): Six Lectures on Linearized Neural Networks

論文の概要: Six Lectures on Linearized Neural Networks

arxiv url: http://arxiv.org/abs/2308.13431v1
Date: Fri, 25 Aug 2023 15:23:06 GMT
ステータス: 処理完了
システム内更新日: 2023-08-28 13:31:46.005445
Title: Six Lectures on Linearized Neural Networks
Title（参考訳）: 線形ニューラルネットワークに関する6つの講義
Authors: Theodor Misiakiewicz, Andrea Montanari
Abstract要約: まず、ニューラルネットワークと線形モデルとの対応を遅延状態(lazy regime)と呼ぶ方法で思い出す。次に、線形化ニューラルネットワークの4つのモデルについてレビューする: 集中した特徴を持つ線形回帰、カーネルリッジ回帰、ランダム特徴モデル、ニューラルタンジェントモデル。
参考スコア（独自算出の注目度）: 15.880450613409302
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In these six lectures, we examine what can be learnt about the behavior of multi-layer neural networks from the analysis of linear models. We first recall the correspondence between neural networks and linear models via the so-called lazy regime. We then review four models for linearized neural networks: linear regression with concentrated features, kernel ridge regression, random feature model and neural tangent model. Finally, we highlight the limitations of the linear theory and discuss how other approaches can overcome them.
Abstract（参考訳）: これら6つの講義において,線形モデルの解析から多層ニューラルネットワークの挙動について何が学べるかを検討する。まず、ニューラルネットワークと線形モデルとの対応を、いわゆる遅延状態を通じて思い出す。次に,線形化ニューラルネットワークの4つのモデルについて検討する。集中的特徴を持つ線形回帰,カーネルリッジ回帰,ランダム特徴モデル,神経接モデルである。最後に、線形理論の限界を強調し、他のアプローチがそれらを克服する方法について論じる。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
論文参考訳（メタデータ） (2024-01-14T02:30:19Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Quadratic models for understanding catapult dynamics of neural networks [15.381097076708535]
近年提案されたニューラル二次モデルでは,そのようなモデルを大きな学習率で訓練する際に生じる「カタパルト相」が示されることが示されている。さらに,2次モデルがニューラルネットワーク解析の有効なツールであることを示す。
論文参考訳（メタデータ） (2022-05-24T05:03:06Z)
Transition to Linearity of Wide Neural Networks is an Emerging Property of Assembling Weak Models [20.44438519046223]
線形出力層を持つ広帯域ニューラルネットワークは、ニアリニアであり、ニアコンスタント・ニューラル・タンジェント・カーネル(NTK)を有することが示されている。広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
論文参考訳（メタデータ） (2022-03-10T01:27:01Z)
EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文参考訳（メタデータ） (2022-02-21T18:59:03Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Learning Parities with Neural Networks [45.6877715768796]
本質的に非線形であるモデルのリーン性を示すための一歩を踏み出します。特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
論文参考訳（メタデータ） (2020-02-18T06:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。