Fugu-MT 論文翻訳(概要): Learning from Randomly Initialized Neural Network Features

論文の概要: Learning from Randomly Initialized Neural Network Features

arxiv url: http://arxiv.org/abs/2202.06438v1
Date: Sun, 13 Feb 2022 23:35:11 GMT
ステータス: 処理完了
システム内更新日: 2022-02-16 05:45:39.899336
Title: Learning from Randomly Initialized Neural Network Features
Title（参考訳）: ランダム初期化ニューラルネットワークの特徴から学ぶ
Authors: Ehsan Amid, Rohan Anil, Wojciech Kot{\l}owski, Manfred K. Warmuth
Abstract要約: ランダムニューラルネットワークが期待できる特徴抽出器として優れているという驚くべき結果を示す。これらのランダムな特徴は、本質的に無限次元であるニューラルネットワーク優先カーネル(NNPK)と呼ばれるものの有限サンプル化に対応する。
参考スコア（独自算出の注目度）: 24.75062551820944
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present the surprising result that randomly initialized neural networks are good feature extractors in expectation. These random features correspond to finite-sample realizations of what we call Neural Network Prior Kernel (NNPK), which is inherently infinite-dimensional. We conduct ablations across multiple architectures of varying sizes as well as initializations and activation functions. Our analysis suggests that certain structures that manifest in a trained model are already present at initialization. Therefore, NNPK may provide further insight into why neural networks are so effective in learning such structures.
Abstract（参考訳）: 本稿では,ランダム初期化ニューラルネットワークが期待する特徴抽出器として優れていることを示す。これらのランダム特徴は、本質的に無限次元であるニューラルネットワークプリエントカーネル(nnpk)と呼ばれるものに対する有限サンプル実現に対応する。様々な大きさの複数のアーキテクチャでアブレーションを行い、初期化や活性化関数も行う。私たちの分析は、トレーニングされたモデルに現れる特定の構造が初期化時にすでに存在することを示唆している。したがって、NNPKはなぜニューラルネットワークがそのような構造を学ぶのに効果的なのか、さらなる洞察を与えるかもしれない。

関連論文リスト

Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。スパース特徴を抽出する能力において,CNNの収束率を導出する。スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文参考訳（メタデータ） (2024-08-10T12:43:55Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文参考訳（メタデータ） (2022-10-05T16:30:35Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文参考訳（メタデータ） (2021-11-15T22:33:52Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文参考訳（メタデータ） (2020-07-09T13:08:01Z)
Deep Randomized Neural Networks [12.333836441649343]
ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
論文参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。