Fugu-MT 論文翻訳(概要): Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights

論文の概要: Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights

arxiv url: http://arxiv.org/abs/2507.18555v1
Date: Thu, 24 Jul 2025 16:26:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 15:10:44.118553
Title: Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Title（参考訳）: ランダム隠れ重みを持つ単純なReLUネットワークのためのニューラルネットワークカーネルと漁業情報行列
Authors: Jun'ichi Takeuchia, Yoshinari Takeishia, Noboru Muratab, Kazushi Mimurac, Ka Long Keith Hod, Hiroshi Nagaoka,
Abstract要約: ランダムな隠蔽重みを持つ2層ReLUネットワークのための釣り情報行列とニューラルネットワークカーネル(NTK)について論じる。 NTKのスペクトル分解は, 固有値を持つ固有関数の具体的な形式で可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fisher information matrices and neural tangent kernels (NTK) for 2-layer ReLU networks with random hidden weight are argued. We discuss the relation between both notions as a linear transformation and show that spectral decomposition of NTK with concrete forms of eigenfunctions with major eigenvalues. We also obtain an approximation formula of the functions presented by the 2-layer neural networks.
Abstract（参考訳）: ランダムな隠蔽重みを持つ2層ReLUネットワークのための釣り情報行列とニューラルネットワークカーネル(NTK)について論じる。線形変換としての両概念間の関係を議論し、NTKのスペクトル分解と固有関数の固有値の具体的な形式について述べる。また、2層ニューラルネットワークで表される関数の近似式を得る。

関連論文リスト

Understanding Two-Layer Neural Networks with Smooth Activation Functions [0.0]
本稿では,2層ニューラルネットワークのバックプロパゲーションアルゴリズムによって得られるトレーニングソリューションを理解することを目的とする。このメカニズムには、テイラー級数展開の構成、結び目の厳密な部分順序、滑らかなスプライン実装、滑らかな連続性制限の4つの原則が含まれる。
論文参考訳（メタデータ） (2025-07-11T01:55:07Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Shallow ReLU neural networks and finite elements [1.3597551064547502]
凸ポリトープメッシュ上の一方向線形関数は、弱い意味で2層ReLUニューラルネットワークで表現できることを示す。弱い表現に必要な2つの隠れた層のニューロンの数は、このメッシュに関わるポリトープと超平面の数に基づいて正確に与えられる。
論文参考訳（メタデータ） (2024-03-09T06:12:06Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。また,2層ニューラルネットワークについても同様の結果が得られた。
論文参考訳（メタデータ） (2021-08-10T23:30:29Z)
Lattice gauge equivariant convolutional neural networks [0.0]
汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。 L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
論文参考訳（メタデータ） (2020-12-23T19:00:01Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文参考訳（メタデータ） (2020-02-24T21:32:41Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)
Solving high-dimensional eigenvalue problems using deep neural networks: A diffusion Monte Carlo like approach [14.558626910178127]
固有値問題は、演算子によって誘導される半群フローの固定点問題として再構成される。この方法は拡散モンテカルロと同様の精神を持つが、ニューラル・ネットワーク・アンサッツによる固有関数への直接近似を増大させる。我々の手法はいくつかの数値例で正確な固有値と固有関数の近似を提供することができる。
論文参考訳（メタデータ） (2020-02-07T03:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。